Конфигурация Spark Driver не зависит от Spark Job - PullRequest
0 голосов
/ 12 сентября 2018

Можно ли настроить искру таким образом, чтобы драйвер всегда запускался (например, в YARN) с определенной конфигурацией, которая не может быть переопределена отдельными заданиями Spark.

Например, - spark.driver.extraJavaOptions можно переопределить, указав подход --conf в spark submit.

Пожалуйста, предложите подход, если таковой существует.

...