Запуск ./pyspark не может найти локальные каталоги

Question

После установки Spark я пытаюсь запустить PySpark из папки установки:

opt/spark/bin/pyspark

Но я получаю следующие ошибки:

opt/spark/bin/pyspark: line 24: /opt/spark/bin/load-spark-env.sh: No such file or directory
opt/spark/bin/pyspark: line 68: /opt/spark/bin/spark-submit: No such file or directory
opt/spark/bin/pyspark: line 68: exec: /opt/spark/bin/spark-submit: cannot execute: No such file or directory

Почему это происходит, когда я вижу эти предметы в соответствующих каталогах? Я также пытаюсь заставить PySpark запускать автономно в качестве команды, но я думаю, что сначала мне нужно решить предыдущую проблему.

Я запускаю это на macOS.

Answer 1

Это конфигурация:

export SPARK_HOME=<YOUR-PATH>/spark-2.4.4-bin-hadoop2.7
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH

И если вы планируете использовать ноутбук также:

export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON=python3
export PATH=$SPARK_HOME:$PATH:~/.local/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

Answer 2

Эта ошибка означает, что SPARK_HOME не установлено. Попробуйте это:

export SPARK_HOME=/opt/spark
pyspark

К вашему сведению, настоятельно рекомендуется установить программное обеспечение на ОС ma c с помощью менеджера пакетов, например https://brew.sh