как решить проблему установки pyspark

Question

Я перепробовал все, что мог, чтобы установить Spark на свой MAC. Я хочу использовать Jpyter Notebook, чтобы использовать Spark, но я просто разочаровался в его установке.

Что я пробовал:

1. brew установить apache-spark -> не работает

   Error: An exception occurred within a child process:
   DownloadError: Failed to download resource "apache-spark"
   Download failed: Couldn't determine mirror, try again later.
   

2. установите пакет из сети и разархивируйте в мой root и используйте следующее export SPARK_HOME = / Users / myname / spark-2.4.2-bin-hadoop2.7 экспорт PATH = $ SPARK_HOME / bin: $ PATH

когда я запускаю pyspark в bash, следующее:

    Error executing Jupyter command'/Users/myname/anaconda3/bin/find_spark_home.py': 
   [Errno 2] No such file or directory/Users/myname/anaconda3/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory/Users/myname/anaconda3/bin/pyspark: line 77: /bin/spark-submit: No such file or directory

  /Users/myname/anaconda3/bin/pyspark: line 77: exec: /bin/spark-submit: cannot execute: No such file or directory

Означает ли это, что моя настройка SPARK_HOME не работает? Как мне просто набрать "pyspark" в моем bash, чтобы запустить pyspark через блокнот jupyter?

Я также обновил информацию в nano .bash_profile следующим образом:

export SPARK_PATH=~/spark-2.4.2-bin-hadoop2.7
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

export PYSPARK_PYTHON=python3
alias snotebook='$SPARK_PATH/bin/pyspark --master local[2]'

Мой Python 3 находится в среде анаконды, есть предложения?