Я хочу установить Apache Spark v2.4 в моем кластере Kubernetes, но, похоже, не существует стабильной диаграммы управления для этой версии.Более старая / стабильная диаграмма (для v1.5.1) существует в
https://github.com/helm/charts/tree/master/stable/spark
Как мне создать / найти диаграмму v2.4?
Тогда: Причинадля v2.4 необходимо включить режим клиента, потому что я хотел бы иметь возможность отправлять задания (записная книжка PySpark / Jupyter) в кластер из среды разработки моего ноутбука.Какие дополнительные шаги требуются для включения режима клиента (включая предоставление сервиса)?
Самая близкая попытка (но для Spark v2.0.0), которую я нашел, но которую я еще не получил, работает, в
https://github.com/Uninett/kubernetes-apps/tree/master/spark
В https://github.com/phatak-dev/kubernetes-spark (также два года) ничего о развертывании юпитера нет.
Пангео-специфично: https://discourse.jupyter.org/t/spark-integration-documentation/243
SO thread: https://github.com/jupyterhub/zero-to-jupyterhub-k8s/issues/1030
Я искал новейшие ресурсы по этому вопросу, но не нашел ничего, что имеет все в одном месте.Я обновлю этот вопрос другими релевантными ссылками, если и когда люди смогут указать мне их.Надеемся, что удастся собрать ответ вместе.
Как всегда, огромное спасибо заранее.
Обновление:
https://github.com/SnappyDataInc/spark-on-k8s для v2.2 чрезвычайно легко развернуть - выглядит многообещающе ...