Невозможно запустить spark-submit на искровом кластере, работающем в контейнере docker - PullRequest
2 голосов
/ 29 января 2020

У меня есть набор искрового кластера, работающий на docker, в котором работают следующие вещи: -

  1. spark-master
  2. три искровых работника (spark- работник-1, искра-работник-2, искра-работник-3)

Для настройки искрового кластера я следовал инструкциям, приведенным в URL: - https://github.com/big-data-europe/docker-spark

Теперь я хочу запустить приложение spark, которое может работать на этом кластере, и для этого я использую шаблон bde2020 / spark- scala и следуя инструкциям, приведенным на URL: - https://github.com/big-data-europe/docker-spark/tree/master/template/scala

Но когда я пытался запустить файл jar, он запускается на шаблоне искры, представленном в образе шаблона bde2020 / spark- scala, а не на мастере моего кластера, работающего в другой контейнер.

Пожалуйста, помогите мне сделать это. Застрял очень плохо.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...