Я получаю ошибку Py4JJavaError при запуске функции действия в PySpark - PullRequest
0 голосов
/ 27 декабря 2018

Я пытаюсь начать работу с transform и action функцией в PySpark впервые, но серьезно столкнулся с повторяющейся ошибкой с указанием **Py4JJavaError**.Любая помощь будет высоко ценится.

Я пытался понизить Java с 11 до 8, но безрезультатно.

spark = SparkContext.getOrCreate()

wordlist = ['Hello',"How",'are','you']
wordsRDD = spark.parallelize(wordlist,10)

print (type (wordsRDD))

def makePlural(word):
    plural_words = []
    for i in word:
        plural_words.append(i+'s')
    return plural_words
makePlural(wordlist)

pluralRDD = wordsRDD.map(makePlural)
#print(pluralRDD)
print (pluralRDD.collect())

Сообщение об ошибке:

> Error: Py4JJavaError: An error occurred while calling
> z:org.apache.spark.api.python.PythonRDD.collectAndServe. :
> org.apache.spark.SparkException: Job aborted due to stage failure:
> Task 0 in stage 10.0 failed 1 times, most recent failure: Lost task
> 0.0 in stage 10.0 (TID 30, localhost, executor driver): org.apache.spark.SparkException: Python worker failed to connect back.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...