Я пытаюсь начать работу с transform и action функцией в PySpark впервые, но серьезно столкнулся с повторяющейся ошибкой с указанием **Py4JJavaError**
.Любая помощь будет высоко ценится.
Я пытался понизить Java с 11 до 8, но безрезультатно.
spark = SparkContext.getOrCreate()
wordlist = ['Hello',"How",'are','you']
wordsRDD = spark.parallelize(wordlist,10)
print (type (wordsRDD))
def makePlural(word):
plural_words = []
for i in word:
plural_words.append(i+'s')
return plural_words
makePlural(wordlist)
pluralRDD = wordsRDD.map(makePlural)
#print(pluralRDD)
print (pluralRDD.collect())
Сообщение об ошибке:
> Error: Py4JJavaError: An error occurred while calling
> z:org.apache.spark.api.python.PythonRDD.collectAndServe. :
> org.apache.spark.SparkException: Job aborted due to stage failure:
> Task 0 in stage 10.0 failed 1 times, most recent failure: Lost task
> 0.0 in stage 10.0 (TID 30, localhost, executor driver): org.apache.spark.SparkException: Python worker failed to connect back.