Хорошо, вот моя основная информация, прежде чем я продолжу:
MacBook Pro: OS X 10.14.2
Версия Python: 3.6.7
Java JDK: V8.u201
Я пытаюсь установить Apache Spark Python API (PySpark) на мой компьютер. Я сделал установку conda: conda install -c conda-forge pyspark
Оказалось, что сам модуль был правильно загружен, потому что я могу импортировать его и вызывать из него методы. Однако при открытии интерактивной оболочки с помощью myuser$ pyspark выдается ошибка:
No Java runtime present, requesting install.
Хорошо, все в порядке. Я пошел на страницу загрузки Java, чтобы получить текущий JDK, чтобы запустить его, и загрузил его в Safari. Chrome, очевидно, не поддерживает некоторые плагины для его работы (хотя изначально я пытался установить его с Chrome). Все еще не работал.
Хорошо, я просто решил попробовать его использовать.
from pyspark.sql import SparkSession Казалось, что модуль импортирован правильно, потому что он автоматически распознавал методы SparkSession. Тем не менее,
spark = SparkSession.builder.getOrCreate() выдал ошибку:
Exception: Java gateway process exited before sending its port number
Переустановка JDK, похоже, не решает проблему, и теперь я застрял с модулем, который, кажется, не работает из-за проблемы с Java, которую я не вижу. Есть идеи, как решить эту проблему? Любая помощь приветствуется.