Можем ли мы запланировать драйвер и исполнитель искры в разных пулах узлов в GKE? - PullRequest
0 голосов
/ 01 ноября 2019

При планировании задания спарка на kubernetes мы можем использовать разные пулы узлов для модулей драйверов и исполнителей?

Я изучил документацию по версии 2.4.4, но для этого требуется только одна конфигурация селектора пула узлов. Я планировал использовать preemtible узлы в пуле узлов GKE, но мне интересно, если узел, на котором работает драйвер, выйдет из строя, новый экземпляр не перезапустит драйвер, и все задание не будет выполнено.

текущая настройка согласно документации spark.kubernetes.node.selector.[labelKey]

1 Ответ

1 голос
/ 01 ноября 2019

К сожалению, это пока не поддерживается, но вы можете следовать PR , который предлагает эту функцию.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...