Pyspark: \ Anaconda3 \ envs \ xgboost \ python.exe] был неожиданным

Question

Я пытаюсь установить Pyspark в Windows.

Я применил setx к следующему:

PYSPARK_DRIVER_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\Scripts\jupyter.exe"
HADOOP_HOME "C:\spark\hadoop"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"
PYSPARK_DRIVER_PYTHON_OPTS "notebook"
PYSPARK_PYTHON "C:\Users\Sade D\Anaconda3\envs\xgboost\python.exe"
SCALA_HOME "C:\spark\scala"
SPARK_HOME "C:\spark\spark"
JAVA_HOME "C:\Program Files\Java\jdk1.8.0_172"

В системных переменных в пути я прикрепил следующее:

C:\Program Files\Java\jdk1.8.0_172\bin
C:\spark\spark\bin
C:\spark\spark\python
C:\spark\spark\python\lib
C:\spark\spark\python\pyspark
C:\spark\spark\python\pyspark\sql
C:\spark\spark\python\pyspark\mllib
C:\spark\spark\python\pyspark\ml
C:\spark\spark\python\lib
C:\spark\scala\bin
C:\Program Files\Java\jdk1.8.0_172\bin\java.exe
C:\Program Files\Java\jdk1.8.0_172\bin

Я следовал учебнику .Я использую Anaconda python версии 3.6, Apache Spark 2.3.2 , Scala 2.12.7 msi и hadoop 2.7 .

Я проверил версии anaconda, python и java в строке cmd.Это гарантирует, что это ссылка правильно на деталь.Когда я запускаю pyspark в командной строке cmd, я получаю сообщение об ошибке \ Anaconda3 \ envs \ xgboost \ python.exe], которая была неожиданной, и система не может найти указанный путь.Чтобы проверить список путей, я копирую его вставкой в ​​адрес, чтобы подтвердить, что он идет в правильную папку.В некоторых блогах решение предлагало добавить дополнительные пути в системные переменные, которые я сделал, поэтому в списке указано больше путей, чем показано в учебнике.Как исправить эту ошибку?

Answer 1

Похоже, у вас есть проблемы с пробелами в именах папок, в частности с пробелом в C:\Users\Sade D, где вы, по-видимому, установили Anaconda.

Попробуйте удалить Anaconda и переустановить ее в папку без пробелов.В видео используется C:\ProgramData\Anaconda3 (вы можете увидеть это в 5:34): попробуйте установить в эту папку вместо C:\Users\Sade D.