Невозможно установить искру в Mac - PullRequest
Новая
       15

Невозможно установить искру в Mac

0 голосов
/ 15 октября 2018

Я использовал python 3.6 в macbook с установленной java, и я скачал spark 2.3.1, но не удалось установить spark.Кстати, я успешно использовал pip3 установить pyspark.Я понятия не имею, что происходит !!Я прикрепил свой bash_profile и мои ошибки на терминале!

В bash_profile 

        export java_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/HOme/"
        export SPARK_HOME="/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyspark"
        export PATH=$JAVA_HOME/bin:$SPARK_HOME:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
        export PYSPARK_PYTHON=python3

На терминале он показал, что 

        /Library/Frameworks/Python.framework/Versions/3.6/bin/pyspark: line 24: /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site packages/pyspark/bin/load-spark-env.sh: No such file or directory
        /Library/Frameworks/Python.framework/Versions/3.6/bin/pyspark: line 77: /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site packages/pyspark/bin/spark-submit: No such file or directory
        /Library/Frameworks/Python.framework/Versions/3.6/bin/pyspark: line 77: exec: /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site packages/pyspark/bin/spark-submit: cannot execute: No such file or directory

1 Ответ

0 голосов
/ 15 октября 2018

Вы можете проверить, есть ли у вас файлы spark по адресу /Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pyspark, в которых вы должны иметь следующие папки: LICENSE R RELEASE conf examples kubernetespython yarn УВЕДОМЛЕНИЕ README.md bin данные jars лицензии sbin

, если нет, скачайте пакет spark и распакуйте его в какой-нибудь каталог X.Если имя извлеченной папки равно Y, тогда установите SPARK_HOME до каталога Y. В моем случае это будет примерно так: /Users/rs1223/spark_package/spark-2.3.2-bin-hadoop2.7

После этой попыткиработает писпарк.Это должно работать.

...