Когда я пытаюсь запустить spark из консоли, все работает нормально:
pyspark
Все хорошо.
Но когда я пытаюсь запустить код из jupyter, я получаю сообщение об ошибке (это каким-то образом работало ранее):
import findspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
FileNotFoundError: [Errno 2] No such file or directory: 'spark/./bin/spark-submit'
Правильно, нет файла 'spark /./ bin/ искровым представить.Это 'spark / bin / spark-submit'
Вот мой .bash_profile
export PATH=/usr/local/bin:$PATH
# Load .bashrc if it exists
test -f ~/.bashrc && source ~/.bashrc
# added by Anaconda3 4.4.0 installer
export PATH="/Users/flatironschool/anaconda/bin:$PATH"
export JAVA_HOME="$(/usr/libexec/java_home -v 1.8)"
export SPARK_HOME=spark
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3
[[ -s "$HOME/.rvm/scripts/rvm" ]] && source
"$HOME/.rvm/scripts/rvm" # Load RVM into a shell session *as a function*
`` `
Итак, как мне заставить Jupyter посмотреть направильно запустить искру?