Я понимаю, что в StackOverflow есть похожие сообщения (например, one ), но я все еще не смог исправить их, следуя им, вот проблема:
У меня есть Jupyterhub, запущенный только вчера, и мне нужно иметь возможность создавать Spark Context в записной книжке, когда я выполняю
from pyspark import SparkContext, SparkConf
Мне выдается следующая ошибка:
ошибка: Traceback ImportError (большинство
последний звонок последний) в ()
----> 1 из pyspark import SparkContext, SparkConf
ImportError: нет модуля с именем 'pyspark'
Ниже приведена настройка среды:
[hadoopuser@hadoop02 .jupyter]$ cat start_jupyterhub.sh
export SPARK_HOME=/opt/cloudera/parcels/SPARK2
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'
sudo jupyterhub
Что мне здесь не хватает?