Предоставить аргументы spark-submit через pycharm для Spark, работающего удаленно на кластере EMR - PullRequest
0 голосов
/ 21 апреля 2020

Мне нужно предоставить копию сжатой среды conda исполнителям, чтобы у них были нужные пакеты для запуска задания spark.

В терминале строка отправки может выглядеть следующим образом:

spark-submit \
--num-executors $EXECUTORS \
--master yarn \
--deploy-mode client \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./environment/bin/python \
--archives /tmp/environment.tar.gz \
/myscript.py 

Вопрос в том, где (и как) ввести информацию о --archives при удаленном запуске myscript.py в Pycharm?

...