Я пытаюсь запустить графические фреймы в pyspark (в Ubuntu) и выполнил следующие шаги:
Я отредактировал файл mu .profile, как показано ниже:
SPARK_PATH=/home/spark/spark-2.4.4-bin-hadoop2.7
# set PATH so it includes user's private bin directories
PATH="$HOME/bin:$HOME/.local/bin:$PATH"
$SPARK_PATH/bin/pyspark --master local[2]
export PYSPARK_DRIVER_PYTHON="jupyter"
, а затем я использовал дляОткройте pyspark с помощью следующей команды
pyspark --packages graphframes:graphframes:0.7.0-spark2.4-s_2.11
через терминал. Но вместо открытия ноутбука jupyter он открывает сеанс искры в терминале. Не уверен, какой шаг не делает его открытым через jupyter.
Любая помощь приветствуется.