Как мы можем изменить конфигурацию PySpark на Jupyter

Question

В настоящее время я работаю над Jupyter (Lab) и PySpark 2.1.1.

Я хочу поменять spark.yarn.queue и master с ноутбука. Из-за ядра spark и sc доступны при открытии ноутбука.

После этого вопроса , я пытался

spark.conf.set("spark.yarn.queue", "my_queue")

Но согласно spark.sparkContext.getConf() вышеуказанная строка никак не влияет.

spark.conf.setMaster("yarn-cluster")

не работает, потому что нет такого метода для spark.conf.

Вопрос: Как я могу изменить конфигурацию (очередь и мастер) с ноутбука Jupyter?

(Или я должен установить какие-либо переменные окружения?)

Answer 1

Можно попытаться инициализировать искру заранее, а не в блокноте. Запустите это на своем терминале:

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

pyspark --master <your master> --conf <your configuration> <or any other option that pyspark supports>.

Мой источник