О канале
9/10A specialized supergroup focused on Apache Spark ecosystem and modern data engineering practices. Members engage in deep technical discussions about Spark optimizations, cluster deployment strategies (Kubernetes, YARN, standalone), streaming architectures with Kafka, data lake formats (Iceberg, Delta Lake), and performance tuning. The community serves as a knowledge-sharing platform for troubleshooting complex distributed computing issues, comparing enterprise solutions like Databricks with open-source alternatives, and discussing related technologies including Livy, Airflow, and Jupyter notebooks.
data engineers, big data developers, DevOps specialists
technical discussion, troubleshooting, knowledge sharing
active daily technical discussions
neutral
Рост подписчиков
Упомянутые каналы
Мальчик: ставки на спорт Мужчина: ставки на скорость запросов в спарке
что то интересное вы тут обсуждаете. Если в кратце, то SQL попадает на вход в парсер SQL, результатом которого является дерево LogicalPlan. В LogicalPlan могут быть всякие UnresolvedTable, UnresolvedC…
Вдруг кому-то пригодится. После очередного дебаженья подвисающего скрипта внутри которого был withColumn в цикле, я сделал свой плагин для flake8, который это детектит. Я его выложил в PyPi, ну либо м…
Не реклама (и у меня в блоге нет вообще никакой коммерциализации), а просто на случай если кому-то когда-то зачем-то надо будет бенчмаркать спарк-апп или либу при помощи JMH и встраивать все это в sbt…
Чувствую надо время на капчу до минуты уменьшать
Отзывы
Отзывов пока нет
Будьте первым, кто поделится мнением об этом канале.
Рейтинги
groups / RU| День | Неделя | Месяц | Год | Всё время | |
|---|---|---|---|---|---|
| Подписчики | — | — | — | — | #1912из 5.2K |
| Публикации | — | — | #153из 210 | #151из 246 | #93из 268 |
| Упоминания | — | — | — | — | #41из 494 |