У меня есть настройка кластера Spark, и в настоящее время все приложения, которые я собираю, разрабатываю их на локальном компьютере с Windows, а затем создаю набор jar-файлов (используя Maven), которые копирую в этот удаленный кластер и запускаю приложение с искрой-представить там.
Это работает нормально, однако немного расстраивает, что для каждого небольшого изменения, которое я делаю, мне приходится перестраивать весь мой проект, развертывать его в кластере и затем запускать мое приложение. Я пытаюсь изучить возможность запуска приложения через IDE, чтобы избежать этого длительного процесса. Я установил spark на локальный компьютер и попытался запустить spark-submit, но он просто запускается без возврата сообщения, поэтому я застрял в проблеме, так как мне не с чем работать.
Важные замечания об этом кластере:
- Это кластер из 4 узлов
- Кластер не имеет менеджера кластера, такого как YARN, поэтому доступен только автономный менеджер кластера: (
- Брандмауэры открыты с моего локального компьютера до узлов Spark Master и Spark Worker
- Текущие задания, отправляемые в кластер, отправляются в режиме развертывания по умолчанию (т.е. кластер в режиме развертывания ** НЕ ** применяется **). Это было сделано, потому что конкретный узел должен был быть драйвером
Важные замечания, которые стоит отметить о моем местном:
Мой локальный домашний каталог spark отражает зеркальный домашний каталог кластера (те же дополнительные файлы jar, тот же конфигурационный файл и т. Д.)
В настоящее время создание приложений Scala и получение зависимостей через Maven (с использованием IntelliJ, хотя я не думаю, что это имеет значение)
spark-submit
--master spark://remote.master.node.ip:7077 \
--deploy-mode cluster \
--jars "C:/Dev/test/lib/jar1.jar, C:/dev/test/lib/jar2.jar,...., C:/dev/test/lib/jarn.jar, C:/dev/test/lib/jarMain.jar" \
--class com.my.main.package.Main C:/Dev/test/jarMain*.jar"
Когда я запускаю вышеописанное (пытался использовать git-bash / minty), он просто сразу возвращает управление обратно на консоль, без каких-либо сообщений.