Параметры командной строки Spark Submit по умолчанию - PullRequest
Новая
       43

Параметры командной строки Spark Submit по умолчанию

1 голос
/ 02 апреля 2020

Как мы можем изменить параметры в параметрах командной строки Spark Submit по умолчанию в Qubole.

Хотя есть опция для переопределения значений при необходимости в разделе «Параметры командной строки Spark Submit», но эта опция недоступна в Spark "Командная строка".

1 Ответ

0 голосов
/ 02 апреля 2020

В случае командной строки Spark вы можете передать конфигурацию в самом коде, как показано ниже: 

/usr/lib/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi -- 
master yarn-client /usr/lib/spark/spark-examples*.jar --conf 
spark.executor.instances=2 --conf spark.logConf=true

Ссылка: https://docs.qubole.com/en/latest/user-guide/analyze/compose-spark.html#compose -a-spark-application-using- заместитель командной строки

...