Использование pyspark в Windows не работает - py4j - PullRequest
Новая
       54

Использование pyspark в Windows не работает - py4j

0 голосов
/ 04 октября 2018

Я установил Zeppelin в Windows, используя это руководство и это .Я также установил Java 8, чтобы избежать проблем.

Теперь я могу запустить сервер Zeppelin, и я пытаюсь запустить этот код - 

%pyspark
a=5*4
print("value = %i" % (a))
sc.version

Я получаю этоошибка, связанная с py4j.Раньше у меня были другие проблемы с этой библиотекой (такие же как здесь ), и чтобы избежать их, я заменил библиотеку py4j в Zeppelin и Spark на моем компьютере последней версией - py4j 0.10.7.

Это ошибка, которую я получаю - 

Traceback (most recent call last):
  File "C:\Users\SHIRM~1.ARG\AppData\Local\Temp\zeppelin_pyspark-1240802621138907911.py", line 309, in <module>
    sc = _zsc_ = SparkContext(jsc=jsc, gateway=gateway, conf=conf)
  File "C:\Users\SHIRM.ARGUS\spark-2.3.2\spark-2.3.2-bin-hadoop2.7\python\pyspark\context.py", line 118, in __init__
    conf, jsc, profiler_cls)
  File "C:\Users\SHIRM.ARGUS\spark-2.3.2\spark-2.3.2-bin-hadoop2.7\python\pyspark\context.py", line 189, in _do_init
    self._javaAccumulator = self._jvm.PythonAccumulatorV2(host, port, auth_token)
  File "C:\Users\SHIRM.ARGUS\Documents\zeppelin-0.8.0-bin-all\interpreter\spark\pyspark\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1525, in __call__
  File "C:\Users\SHIRM.ARGUS\Documents\zeppelin-0.8.0-bin-all\interpreter\spark\pyspark\py4j-0.10.7-src.zip\py4j\protocol.py", line 332, in get_return_value
py4j.protocol.Py4JError: An error occurred while calling None.org.apache.spark.api.python.PythonAccumulatorV2. Trace:

Я погуглил ее, но не смог найти никого, с кем это случилось.

У кого-нибудь есть идеи, как мне решить эту проблему?

Спасибо

Ответы [ 2 ]

0 голосов
/ 15 октября 2018

Я столкнулся с той же проблемой сегодня, и я исправил ее, добавив PYTHONPATH в системной среде, например:
%SPARK_HOME%\python\lib\py4j;%SPARK_HOME%\python\lib\pyspark

0 голосов
/ 04 октября 2018

Я чувствую, что вы установили Java 9 или 10. Удалите любую из этих версий и установите свежую копию Java 8 отсюда: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

И установите JAVA_HOME внутри hadoop_env.cmd (открытьс любым текстовым редактором).

Примечание : Java 8 или 7 являются стабильными версиями для использования и удаления любых существующих версий JAVA.Убедитесь, что вы добавили JDK (не JRE) в JAVA_HOME.

...