Проблема в открытии ноутбука Jupyter для Pyspark - PullRequest
Новая
       6

Проблема в открытии ноутбука Jupyter для Pyspark

0 голосов
/ 10 января 2019

Я установил Anaconda3, версию Hadoop hadoop-2.7.7 и версию spark spark-2.4.0-bin-hadoop2.7, успешно.

Когда я запускаю команду pyspark в терминале, вместо браузера ноутбука Jupyter появляется следующая ошибка. Ниже приведен код, который я пробовал. 

laptop@laptop-Lenovo:~/spark-2.4.0-bin-hadoop2.7$ pyspark
[I 04:22:08.871 NotebookApp] JupyterLab extension loaded from /home/laptop/anaconda3/lib/python3.7/site-packages/jupyterlab
[I 04:22:08.871 NotebookApp] JupyterLab application directory is /home/laptop/anaconda3/share/jupyter/lab
[I 04:22:08.873 NotebookApp] Serving notebooks from local directory: /home/laptop/spark-2.4.0-bin-hadoop2.7
[I 04:22:08.873 NotebookApp] The Jupyter Notebook is running at:
[I 04:22:08.873 NotebookApp] http://localhost:8888/?token=cb87bf03bfac6184d49ddcb2f3fdbbc2a43ad76c14ed8364
[I 04:22:08.873 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 04:22:08.877 NotebookApp] No web browser found: could not locate runnable browser.
[C 04:22:08.877 NotebookApp] 

    To access the notebook, open this file in a browser:
        file:///run/user/1000/jupyter/nbserver-7600-open.html
    Or copy and paste one of these URLs:
        http://localhost:8888/?token=cb87bf03bfac6184d49ddcb2f3fdbbc2a43ad76c14ed8364

Я копирую и вставляю вышеупомянутую ссылку 'http://localhost:8888/?token=cb87bf03bfac6184d49ddcb2f3fdbbc2a43ad76c14ed8364' в firefox и вхожу, затем я могу работать над командами искры на ноутбуке jupyter.

Я установил браузер Chrome и Firefox.

Ниже приведена настройка файла .bashrc. 

laptop@laptop-Lenovo:~$ vi ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-8-oracle/jre
export PATH=$PATH:$JAVA_HOME/bin
export PATH=/home/laptop/anaconda3/bin:$PATH

export HADOOP_HOME=/home/laptop/hadoop-2.7.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

export SPARK_HOME=/home/laptop/spark-2.4.0-bin-hadoop2.7
export PATH=$PATH:/home/laptop/spark-2.4.0-bin-hadoop2.7/bin

export PYSPARK_PYTHON=/home/laptop/anaconda3/bin/python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

Файл сценария spark-env.sh: 

laptop@laptop-Lenovo:~/spark-2.4.0-bin-hadoop2.7$ vi conf/spark-env.sh
export PYSPARK_PYTHON=/home/laptop/anaconda3/bin/python3
export PYSPARK_DRIVER_PYTHON=/home/laptop/anaconda3/bin/jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

Я попытался изменить значение переменной, но не смог отследить проблему.

...