Передача Spark conf через переменные среды (без conf dir) - PullRequest
0 голосов
/ 09 июля 2020

Есть ли способ передать параметры конфигурации Spark через переменные среды, чтобы не указывать их в записной книжке? Для PySpark это PYSPARK_SUBMIT_ARGS pyspark-shell, для Zeppelin - SPARK_SUBMIT_OPTIONS в conf/zeppelin-env.sh (https://zeppelin.apache.org/docs/0.5.5-incubating/interpreter/spark.html). Есть ли способ передать env аналогичным образом в ядре Almond для JupyterHub (например, через некоторые конфигурации Ammonite)? К сожалению, SPARK_SUBMIT_OPTS не может обработать параметры --conf. На данный момент я бы не хотел использовать SPARK_CONF_DIR.

...