как автоматически масштабировать работу искры в кластере Kubernetes - PullRequest
0 голосов
/ 03 декабря 2018

Нужен совет по запуску искры / кубернетес.У меня Spark 2.3.0, который поставляется с поддержкой родного kubernetes.Я пытаюсь запустить задание spark, используя spark-submit с параметром master в качестве «kubernetes-apiserver: port» и другими необходимыми параметрами, такими как spark image и другими , как указано здесь .Как включить автоматическое масштабирование / увеличение количества рабочих узлов в зависимости от нагрузки?Есть ли образец документа, которым я могу следовать?Некоторый основной пример / документ был бы очень полезен.Или есть какой-то другой способ развернуть искру в kubernetes, который может помочь мне достичь автоматического масштабирования в зависимости от нагрузки.

1 Ответ

0 голосов
/ 16 июня 2019

По сути, Apache Spark 2.3.0 официально не поддерживает автоматический скаллинг в кластере K8S, как вы можете видеть в будущей работе после 2.3.0 .

Кстати, это все еще функцияработа продолжается, но вы можете примерить вилку k8s для Spark 2.2

...