Почему spark-submit терпит неудачу с «Ошибка выполнения команды Jupyter»?

Question

При попытке запустить Spark локально на моем Mac (который раньше работал) ...

/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/bin/java \
-cp /usr/local/Cellar/apache-spark/2.4.0/libexec/conf/:/usr/local/Cellar/apache-spark/2.4.0/libexec/jars/* \
-Xmx1g org.apache.spark.deploy.SparkSubmit \
--packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0 \
/Users/crump/main.py

Теперь я получаю следующую ошибку:

Error executing Jupyter command '/Users/crump/main.py': [Errno 2] No such file or directory

Файлесть.Поскольку я знаю, что раньше это работало, я, должно быть, недавно установил что-то, что изменило библиотеку, SDK и т. Д.

Answer 1

Хорошо, я наконец нашел ответ: PYSPARK_DRIVER_PYTHON=jupyter в моем окружении.Я настроил это так, чтобы запускать записные книжки Jupyter / Spark только с помощью команды pyspark, но это приводит к сбою spark-submit.

Решением является использование переменной python, а не jupyter: PYSPARK_DRIVER_PYTHON=python.