Проблема с исполнением Pyspark - PullRequest
Новая
       1

Проблема с исполнением Pyspark

0 голосов
/ 05 мая 2020

когда я пытаюсь запустить скрипт pyspark, он выдает следующую ошибку: 

(base) ? spark-submit SparkLinearRegression.py 
20/05/05 06:52:01 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Traceback (most recent call last):
  File "/Users/koke/anaconda3/bin/jupyter", line 10, in <module>
    sys.exit(main())
  File "/Users/koke/anaconda3/lib/python3.7/site-packages/jupyter_core/command.py", line 230, in main
    command = _jupyter_abspath(subcommand)
  File "/Users/koke/anaconda3/lib/python3.7/site-packages/jupyter_core/command.py", line 133, in _jupyter_abspath
    'Jupyter command `{}` not found.'.format(jupyter_subcommand)
Exception: Jupyter command `jupyter-/Users/koke/Data/MLCourse/SparkLinearRegression.py` not found.
log4j:WARN No appenders could be found for logger (org.apache.spark.util.ShutdownHookManager).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

Я перешел на java8 вместо java10 по умолчанию jdk в bash_profile, не сработало. Пожалуйста, помогите ..

...