Я установил pyspark в Windows, и pyspark-shell работает так, как должен. Там нет проблем. Тем не менее, когда я пытаюсь создать контекст из ноутбука Jupyter, SparkContext зависает.
После прерывания я обнаружил, что он останавливается в:
pyspark \ java_gateway.py в коде, отмеченном таким комментарием:
# Дождаться появления файла или завершения процесса, в зависимости от того, что произойдет раньше.
Скриншот
Еще несколько подробностей об окружающей среде:
- pyspark версия 2.3.3 (в равной степени искра и pyspark)
- Java 8 (без пробелов в имени каталога)
- блокнот Jupyter 5.7.8
- питон 3.6.5
Я пробовал также с findspark, но с точно таким же результатом.
Кто-нибудь знает, в чем может быть проблема?
UPDATE:
Пользовательские переменные:
- HADOOP_HOME = C: \ spark-2.3.3-bin-hadoop2.7 \ winutils
- JAVA_HOME = C: \ Java \ jdk1.8.0_212
- SPARK_HOME = C: \ spark-2.3.3-bin-hadoop2.7
Системные переменные:
- HADOOP_HOME = C: \ spark-2.3.3-bin-hadoop2.7 \ winutils \ bin
- JAVA_HOME = C: \ Java \ jdk1.8.0_212
- SPARK_HOME = C: \ spark-2.3.3-bin-hadoop2.7 \ bin
- PATH содержит C: \ spark-2.3.3-bin-hadoop2.7 \ bin