У меня проблема с установкой Spark на MacOS, как мне это исправить?

Question

Я пытаюсь установить Spark на свой компьютер, следуя инструкциям здесь. Установка Spark на Mac (PySpark)

Я следую инструкциям здесь, но вижу ошибку. Эта ошибка выглядит следующим образом:

fatih-Air:~ fatihcelik$ snotebook 
-bash: /Users/fatihcelik/pyspark-2.4.0/bin/pyspark: No such file or directory

Моя Искра directory здесь:

/Users/fatihcelik/pyspark-2.4.0

Мой .bash_profile файл выглядит следующим образом:

#Settings path for Spark
export SPARK_PATH=~/pyspark-2.4.0
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
#For python 3, You have to add the line below or you will get an error
# export PYSPARK_PYTHON=python3
alias snotebook='$SPARK_PATH/bin/pyspark --master local[2]'

Содержимое моей папки PySpark:

fatih-Air:pyspark-2.4.0 fatihcelik$ ls 
MANIFEST.in     deps            pyspark.egg-info
PKG-INFO        lib             setup.cfg
README.md       pyspark         setup.py

У вас есть идеи, как решить мою проблему? Спасибо.

Примечание: После редактирования .bash_profile я запустил "source .bash_profile", чтобы применить изменения.

Answer 1

Ваш SPARK_PATH должен быть таким,

EXPORT SPARK_PATH=~/spark-2.4.0

Answer 2

Это может быть просто проблема извлечения, учебник, на который вы ссылаетесь, не дает хороших инструкций для того, чтобы убедиться, что вы извлекаете в нужное место. Из командной строки

ls -ls ~/pyspark-*/

Убедитесь, что у вас есть каталог bin, внутри которого находится исполняемый файл pyspark.