Ошибка при запуске Spark на Mesos в докере - PullRequest
0 голосов
/ 27 января 2019

У меня есть два узла с докером.Zookeeper, Mesos и Spark были установлены на каждом докере.Я указываю "slaves" в файле "slaves", что у меня есть только один master и один slave.Кроме того, у меня есть «docker-compose.yaml» на каждом узле в том же пути.Я делаю "docker-compose" в каждом узле.Затем в главном узле внутри докера я запускаю диспетчер:

  "/home/spark/sbin/start-mesos-dispatcher.sh     --master 
  mesos://150.20.11.136:5050".

После этого я запускаю свою программу с этой командой:

 "/home/spark/bin/spark-submit --name test_mesos --master 
 mesos://150.20.11.136:5050 --executor-cores 4 --executor-memory 6G -- 
 files iran2.npy --py-files a.zip myprogram.py".

При запуске моей программы я получаю эту ошибку:

Начальная работа не приняла никаких ресурсов;проверьте свой кластерный интерфейс, чтобы убедиться, что работники зарегистрированы и имеют достаточные ресурсы

Я много искал.Я отключаю брандмауэр, сначала он работал, но теперь у меня вообще не работает.Более того, я открыл все порты в Docker через «Expose» в Docker Compose файл.Я уменьшил ресурсы в команде «Отправить».Но никто из них не решил мою проблему.

Скажите, пожалуйста, что я делаю не так?

Любая помощь будет оценена.

Заранее спасибо.

1 Ответ

0 голосов
/ 27 января 2019

Я запустил Docker с этой командой, и моя программа была запущена без ошибок. Но это заняло много времени, я не знаю, может быть, это из-за Месоса.

Sudo docker run --network host -it ubuntu_mesos_spark_python3.6_oraclient

Я надеюсь, что этот пункт решил проблему других.

...