Не могу заставить работать spark / pyspark на macOS Mojave

Question

Имейте новый MacBook с MacOS Mojave, но не можете заставить работать spark / pyspark. Я сделал следующее:

• Загрузил последнюю Apache Spark из https://spark.apache.org/downloads.html
• Разархивировал ее в моем домашнем каталоге (/Users/myname/)
• Переименована папка spark
• Проверена в окне Finder, что искра была там, и папка содержала python, bin и bin / spark-shell подпапки
• Получил возможность установки пакетов с помощью: curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py >> python get-pip.py в терминале >> Проверено, что он был установлен, выполнив import pip в python shell >> sudo easy_install pip в обычном терминале
• pip install pyspark, сработало
• Созданы файлы .bashr c и .bash_profile в пути Users/myname/
• В следующих * я попробовал следующие версии команд bash файлов:

export SPARK_HOME="/Users/myname/spark/python"
export PATH="$SPARK_HOME/bin:$PATH"

export SPARK_HOME=/Users/myname/spark/python
export PATH=$SPARK_HOME/bin:$PATH

export SPARK_HOME=/Users/myname/spark
export PATH=$SPARK_HOME/bin:$PATH

export SPARK_HOME=~/spark
export PATH=$SPARK_HOME/bin:$PATH

В разных статьях говорится, что я могу просто сделать pyspark в терминале, или spark/bin/spark-shell или просто ' bin / spark-shell`, я просто продолжаю получать версии сообщения

-bash: pyspark: command not found

Любой совет?

Answer 1

Если вы установили pyspark из pip, вам не нужна отдельная установка. Вам просто нужно исправить ваши env vars. Сначала найдите местоположение пакетов вашего сайта:

python -c "import site; print(site.getsitepackages())"

Это, вероятно, что-то вроде этого /usr/lib/pythonX.Y/site-packages

Затем добавьте экспорт в свой профиль bash и отправьте его.

echo "export SPARK_HOME=/usr/lib/pythonX.Y/site-packages/pyspark" >> ~/.bash_profile
echo "export PATH=$SPARK_HOME/bin:$PATH" >> ~/.bash_profile
source ~/.bash_profile