Как установить --master, --deploy-mode, --driver-class-path и --driver-java-options через Apache Livy? - PullRequest
Новая
       14

Как установить --master, --deploy-mode, --driver-class-path и --driver-java-options через Apache Livy?

0 голосов
/ 06 мая 2018

Я хочу установить master , spark deploy-mode , driver-class-path и driver-java-options для задания Spark, когда задание запускается через Apache Livy без необходимости перезапускать сервер Livy при изменении этих настроек. Как это сделать, поскольку в Ливии нет прямых вариантов сделать это?

1 Ответ

0 голосов
/ 06 мая 2018

Ливий не принимает master и deploy-mode в качестве параметра в вызове REST. Эти значения будут взяты из livy.conf, который будет выглядеть примерно так: 

livy.spark.master = yarn
livy.spark.deploy-mode = cluster

В приведенной выше конфигурации упоминается, что ведущим является yarn, а режим развертывания - cluster. spark.driver.extraClassPath и spark.driver.extraJavaOption могут быть установлены через livy с помощью параметра conf.

Пример: 

"conf":{ "spark.driver.extraClassPath":"<YOUR_EXTRA_CLASSPATH>",
         "spark.executor.extraJavaOptions":"-Dlog4j.configuration=/app/log4j.properties"}
...