Команда Pyspark выдает ошибку, поскольку каталог не найден

Question

Я установил ApacheSpark и Pyspark на Anaconda ( @ OS Mojave в Macbook, и у меня не установлено oop! ). Но команда pyspark не работает в терминале и выдает следующую ошибку:

/ Library / Frameworks / Python .framework / Versions / 3.8 / bin / pyspark: line 24: /usr/local/lib/python3.8/site-packages/pyspark/bin/load-spark-env.sh: Нет такого файла или каталога

/ Library / Frameworks / Python .framework / Versions / 3.8 / bin / pyspark: строка 77: /usr/local/lib/python3.8/site-packages/pyspark/bin/spark-submit: такого файла или каталога нет

/ Библиотека / Каркас / Python .рамка / Версии / 3.8 / bin / pyspark: строка 77: exe c: /usr/local/lib/python3.8/site-packages/pyspark/bin/ spark-submit: не может выполнить: нет такого файла или каталога

Это мои переменные среды:

export SPARK_HOME="/usr/local/spark" #version 1.6
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_SUBMIT_ARGS="--master local[2]"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

У меня есть python 3.8 и apacheSpark 3.0.0 . Пожалуйста, помогите!

Answer 1

Простой способ установки - использование

findspark

загрузки файла .tgz с веб-сайта spark , который поставляется с двоичными файлами oop

pip install findspark

В Python:

import findspark

finspark.init('\path\to\extracted\binaries\folder')

import pyspark