Есть ли способ передать параметры конфигурации Spark через переменные среды, чтобы не указывать их в записной книжке? Для PySpark это PYSPARK_SUBMIT_ARGS pyspark-shell
, для Zeppelin - SPARK_SUBMIT_OPTIONS
в conf/zeppelin-env.sh
(https://zeppelin.apache.org/docs/0.5.5-incubating/interpreter/spark.html). Есть ли способ передать env аналогичным образом в ядре Almond для JupyterHub (например, через некоторые конфигурации Ammonite)? К сожалению, SPARK_SUBMIT_OPTS
не может обработать параметры --conf
. На данный момент я бы не хотел использовать SPARK_CONF_DIR
.