Apache Livy и Apache Spark - PullRequest
       15

Apache Livy и Apache Spark

0 голосов
/ 25 мая 2019

У меня есть искровой кластер, и я хочу использовать Livy.Я запустил Livy Server и запустил с ним пример программы, и теперь все работает.Но у меня есть два вопроса:

  1. Когда приложение работает, я не могу найти приложение в «Запущенное / завершенное приложение» в Spark WebUI.Есть ли какая-то конкретная конфигурация для этого?

  2. В в этом примере я запускаю с Livy Java-API, я должен загрузить файл JAR в кластер.Это необходимо?Я имею в виду, я должен создать файл JAR и отправлять его в кластер каждый раз, когда я изменяю свой код?Если да, в чем разница между Livy и отправкой JAR-файла с опцией Spark " SetJar " в конфигурации Spark?(С помощью опции SetJar я могу программно загрузить файл приложения Jar и запустить задание)

...