Отправка локального спарк-приложения в удаленный кластер (без менеджера кластера) - PullRequest
0 голосов
/ 18 января 2019

У меня есть настройка кластера Spark, и в настоящее время все приложения, которые я собираю, разрабатываю их на локальном компьютере с Windows, а затем создаю набор jar-файлов (используя Maven), которые копирую в этот удаленный кластер и запускаю приложение с искрой-представить там.

Это работает нормально, однако немного расстраивает, что для каждого небольшого изменения, которое я делаю, мне приходится перестраивать весь мой проект, развертывать его в кластере и затем запускать мое приложение. Я пытаюсь изучить возможность запуска приложения через IDE, чтобы избежать этого длительного процесса. Я установил spark на локальный компьютер и попытался запустить spark-submit, но он просто запускается без возврата сообщения, поэтому я застрял в проблеме, так как мне не с чем работать.

Важные замечания об этом кластере:

  • Это кластер из 4 узлов
  • Кластер не имеет менеджера кластера, такого как YARN, поэтому доступен только автономный менеджер кластера: (
  • Брандмауэры открыты с моего локального компьютера до узлов Spark Master и Spark Worker
  • Текущие задания, отправляемые в кластер, отправляются в режиме развертывания по умолчанию (т.е. кластер в режиме развертывания ** НЕ ** применяется **). Это было сделано, потому что конкретный узел должен был быть драйвером

Важные замечания, которые стоит отметить о моем местном:

Мой локальный домашний каталог spark отражает зеркальный домашний каталог кластера (те же дополнительные файлы jar, тот же конфигурационный файл и т. Д.) В настоящее время создание приложений Scala и получение зависимостей через Maven (с использованием IntelliJ, хотя я не думаю, что это имеет значение)
spark-submit 
--master spark://remote.master.node.ip:7077 \
--deploy-mode cluster \
--jars "C:/Dev/test/lib/jar1.jar, C:/dev/test/lib/jar2.jar,...., C:/dev/test/lib/jarn.jar, C:/dev/test/lib/jarMain.jar" \
--class com.my.main.package.Main C:/Dev/test/jarMain*.jar"

Когда я запускаю вышеописанное (пытался использовать git-bash / minty), он просто сразу возвращает управление обратно на консоль, без каких-либо сообщений.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...