Hortonworks HDP, запуск приложения Java Spark на пряже в режиме кластера изнутри Intellij Idea - PullRequest
Новая
       45

Hortonworks HDP, запуск приложения Java Spark на пряже в режиме кластера изнутри Intellij Idea

0 голосов
/ 15 июня 2019

Я новичок в платформе данных Hortonworks (HDP).У меня полнофункциональный кластер HDP (не песочница hortownworks), работающий отдельно, и у меня есть root-доступ ко всем машинам кластера.Я следовал этому руководству по настройке среды разработки Spark с Java в Intellij Idea.Я разрабатываю приложение на своем локальном настольном компьютере.Чтобы запустить приложение, мне нужно сделать следующее:

  1. Написать Java-программу для Spark
  2. Сборка с использованием mvn package из Intellij Idea
  3. Загрузитьjar файл к главному узлу Spark через SFTP
  4. SSH к главному узлу Spark и отправка задания зажигания с помощью ./bin/spark-submit --class "MyClass" --master yarn /path/to/MyJar.jar

Он работает отлично, и я могу проверить работу в Ambari UI → Пряжа → ResourceManager UI → Приложения .Проблема заключается в том, что мне приходится выполнять весь этот процесс каждый раз, когда я делаю изменения в своем коде.

Есть ли способ автоматизировать этот процесс?Можно ли настроить Intellij Idea для создания, развертывания и запуска приложений spark в кластере одним щелчком мыши?Так что я могу запустить и отладить свое приложение, не выполняя весь этот процесс.Я изучил это и это , но без радости.

...