PySpark не запускается - «python»: нет такого файла или каталога

Question

Я пытаюсь настроить pyspark на своем рабочем столе и взаимодействовать с ним через терминал. Я следую этому руководству,

http://jmedium.com/pyspark-in-python/

Когда я запускаю 'pyspark' в терминале, он говорит:

/home/jacob/spark-2.1.0-bin-hadoop2.7/bin/pyspark: line 45: python:
command not found
env: ‘python’: No such file or directory

Я следовал нескольким руководствам, которые приводят к одной и той же проблеме (некоторые содержат разные детали по настройке .profile. До сих пор ни одна из них не работала правильно). У меня установлены Java, Python3.6 и Scala. Мой .profile настроен следующим образом:

#Spark and PySpark Setup
PATH="$HOME/bin:$HOME/.local/bin:$PATH"
export SPARK_HOME='/home/jacob/spark-2.1.0-bin-hadoop2.7'
export PATH=$SPARK_HOME:$PATH
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
#export PYSPARK_DRIVER_PYTHON="jupyter"
#export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_PYTHON=python3.6.5

Обратите внимание, что ноутбук jupyter закомментирован, потому что я хочу запустить pyspark в оболочке прямо сейчас, когда ноутбук не запускается

Интересно, что спарк-снаряд запускается просто отлично

Я использую Ubuntu 18.04.1 и Spark 2.1

см. Изображения

Я перепробовал все руководства, которые смог найти, и так как я впервые настраиваю Spark, я не уверен, как его устранить здесь

Спасибо

Попытка выполнить pyspark

.profile

версия

Answer 1

Я уже решил эту проблему. Просто введите эту команду:

sudo apt install python

Answer 2

Вы должны установить export PYSPARK_PYTHON=python3 вместо экспорта PYSPARK_PYTHON=python3.6.5 в свой .profile

тогда source .profile, конечно.

Это сработало для меня.

другие опции, установка sudo apt python (для 2.x) не подходит.

Answer 3

Для тех, кто может столкнуться с этим, я понял это!

Я специально решил использовать более старую версию Spark, чтобы следовать учебному пособию, которое я смотрел - Spark 2.1.0 . Я не знал, что последняя версия Python (3.5.6 на момент написания этой статьи) несовместима с Spark 2.1. Таким образом PySpark не будет запускаться.

Я решил это с помощью Python 2.7 и, соответственно, установил путь в .bashrc

export PYTHONPATH=$PYTHONPAH:/usr/lib/python2.7
export PYSPARK_PYTHON=python2.7