pyspark Не удалось найти действительный SPARK_HOME - PullRequest
Новая
       28

pyspark Не удалось найти действительный SPARK_HOME

0 голосов
/ 08 апреля 2019

При попытке настроить и запустить pyspark я получаю следующее сообщение об ошибке: 

tom@tom-OptiPlex-3060:~$ pyspark
Could not find valid SPARK_HOME while searching ['/home', '/home/tom/.local/bin']
/home/tom/.local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/home/tom/.local/bin/pyspark: line 77: /bin/spark-submit: No such file or directory

Но если я захожу внутрь каталога /usr/lib/spark/bin - pyspark работает

что яздесь не хватает? 

export JAVA_HOME=/usr/lib/jvm/java-8-oracle  
export SBT_HOME=/usr/share/sbt-launcher-packaging/bin/sbt-launch.jar  
export SPARK_HOME=/usr/lib/spark
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$SBT_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
export PYSPARK_PYTHON=python2.7
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH

1 Ответ

1 голос
/ 09 апреля 2019

Похоже, у вас есть 2 разные установки pyspark. pyspark использует установку в /home/tom/.local/bin/pyspark вместо установки в /usr/lib/spark/bin.

Возможно, вы установили вручную в /usr/lib/spark, а другой через pip. Как вы хотите использовать /usr/lib/spark. Пожалуйста, удалите один пункт, добавьте /usr/lib/spark/bin к вашему пути, и он должен работать

...