Spark на Месо, используя изображения Docker - PullRequest
0 голосов
/ 28 декабря 2018

У меня проблема с запуском на Мезосе с использованием докера.

Сведения о кластере:

Кластер мезо из 3 узлов (M1 - Мастер Mesos, M2 иM3 - ведомые Mesos)

ОС: CentOS

Я могу запустить приложение spark на Mesos без Docker, но когда я пытаюсь использовать докер (режим развертывания Spark - Cluster),я замечаю следующее

  • Исполнители запускаются на 2 подчиненных (M2 и M3) MESOS
  • Драйвер находится на M2
  • Исполнитель на M3 не можетдля связи с контейнером драйверов на M2 (исполнитель пытается связаться с драйвером на 127.0.0.1)
  • Исполнитель на M2 может связаться с драйвером на той же машине, и приложение также завершается.

Вопросы

  1. Нужно ли настроить сеть для работы Docker?

  2. Какова стандартная сетевая настройка докера в Mesos?

...