PySpark, Win10 - система не может найти указанный путь

Question

У меня ранее был установлен PySpark в виде пакета Python, который я установил через pip, недавно я удалил его с чистой версией Python и скачал автономную версию.

В моих пользовательских переменных я создал путь с именем:SPARK_HOME

со значением: C: \ spark-2.3.2-bin-hadoop2.7 \ bin

В системных переменных в пути я сделал запись: C: \ spark-2.3.2-bin-hadoop2.7 \ bin

Когда я запускаю pyspark

, я также не могу запустить spark-shell.Есть идеи?

Answer 1

Пользователи Windows должны загрузить совместимую версию winutils exe и сохранить ее в папке bin вашего Spark.

Найти совместимый дистрибутив Hadoop, скачать и сохранить его в своей папке Spark.

например, загрузите "https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe" и сохраните его в своем" C: \ spark-2.3.2-bin-hadoop2.7 \ bin "

Можно найти разные версии winutilsпо этой ссылке. https://github.com/steveloughran/winutils

Answer 2

SPARK_HOME должно быть без папки bin.Следовательно,

Установите SPARK_HOME на C:\spark-2.3.2-bin-hadoop2.7\