About this channel
9/10A specialized supergroup focused on Apache Spark ecosystem and modern data engineering practices. Members engage in deep technical discussions about Spark optimizations, cluster deployment strategies (Kubernetes, YARN, standalone), streaming architectures with Kafka, data lake formats (Iceberg, Delta Lake), and performance tuning. The community serves as a knowledge-sharing platform for troubleshooting complex distributed computing issues, comparing enterprise solutions like Databricks with open-source alternatives, and discussing related technologies including Livy, Airflow, and Jupyter notebooks.
data engineers, big data developers, DevOps specialists
technical discussion, troubleshooting, knowledge sharing
active daily technical discussions
neutral
Subscriber Growth
Mentioned Channels
Мальчик: ставки на спорт Мужчина: ставки на скорость запросов в спарке
что то интересное вы тут обсуждаете. Если в кратце, то SQL попадает на вход в парсер SQL, результатом которого является дерево LogicalPlan. В LogicalPlan могут быть всякие UnresolvedTable, UnresolvedC…
Вдруг кому-то пригодится. После очередного дебаженья подвисающего скрипта внутри которого был withColumn в цикле, я сделал свой плагин для flake8, который это детектит. Я его выложил в PyPi, ну либо м…
Не реклама (и у меня в блоге нет вообще никакой коммерциализации), а просто на случай если кому-то когда-то зачем-то надо будет бенчмаркать спарк-апп или либу при помощи JMH и встраивать все это в sbt…
Чувствую надо время на капчу до минуты уменьшать
Reviews
No reviews yet
Be the first to share your experience with this channel.
Rankings
groups / RU| Day | Week | Month | Year | All time | |
|---|---|---|---|---|---|
| Subscribers | — | — | — | — | #1925of 5.3K |
| Posts | — | — | #152of 209 | #150of 246 | #93of 268 |
| Mentions | — | — | — | — | #93of 495 |