Столкновение с Py4JJavaError при выполнении кода PySpark - PullRequest
Новая
       18

Столкновение с Py4JJavaError при выполнении кода PySpark

0 голосов
/ 17 мая 2018

enter image description here Я пытаюсь выполнить свой первый код PySpark в PyCharm IDE и сталкиваюсь со следующим исключением. 

from pyspark import SparkContext


def example():
    sc = SparkContext('local')
    words = sc.parallelize(["scala", "java", "hadoop", "spark", "akka"])
    print(sc.getConf().getAll())
    return words.count()


print(example())

и напечатаны следующие данные. 

[('spark.master', 'local'), ('spark.rdd.compress', 'True'), ('spark.serializer.objectStreamReset', '100'), ('spark.driver.port', '59627'), ('spark.executor.id', 'driver'), ('spark.submit.deployMode', 'client'), ('spark.app.id', 'local-1526547201037'), ('spark.driver.host', 'LAPTOP-DDRRK6SB'), ('spark.ui.showConsoleProgress', 'true'), ('spark.app.name', 'pyspark-shell')]

и следующее исключение. 

py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: java.lang.IllegalArgumentException

Извините за мой английский, ожидая, что не так с кодом.

1 Ответ

0 голосов
/ 17 мая 2018

Я не знаю точную проблему, При откате до 1.8.0_171 к этой версии Java, он работает нормально. Спасибо Rumoku за ваше предложение.

...