Jupyter искра представить не найдя правильный путь - PullRequest
0 голосов
/ 27 августа 2018

Когда я пытаюсь запустить spark из консоли, все работает нормально:

pyspark

Все хорошо.

Но когда я пытаюсь запустить код из jupyter, я получаю сообщение об ошибке (это каким-то образом работало ранее):

    import findspark
    from pyspark.sql import SparkSession
    spark = SparkSession.builder.getOrCreate()


    FileNotFoundError: [Errno 2] No such file or directory: 'spark/./bin/spark-submit'

Правильно, нет файла 'spark /./ bin/ искровым представить.Это 'spark / bin / spark-submit'

Вот мой .bash_profile

    export PATH=/usr/local/bin:$PATH
    # Load .bashrc if it exists
    test -f ~/.bashrc && source ~/.bashrc

    # added by Anaconda3 4.4.0 installer
    export PATH="/Users/flatironschool/anaconda/bin:$PATH"
    export JAVA_HOME="$(/usr/libexec/java_home -v 1.8)"
    export SPARK_HOME=spark

    export PATH=$SPARK_HOME/bin:$PATH
    export PYSPARK_PYTHON=python3

    [[ -s "$HOME/.rvm/scripts/rvm" ]] && source 
    "$HOME/.rvm/scripts/rvm" # Load RVM into a shell session *as a function*

`` `

Итак, как мне заставить Jupyter посмотреть направильно запустить искру?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...