Я сталкиваюсь с ошибкой при запуске следующей программы PySpark.Использование
ОС Windows 10
Java версия 8
Spark версия 2.4.0
Python версия 3.6
КОД:
from pyspark.context import SparkContext
sc = SparkContext.getOrCreate()
textFile= sc.textFile(r"file.txt")
textFile.count()
ОШИБКА:
---------------------------------------------------------------------------
Py4JJavaError Traceback (most recent call last)
<ipython-input-7-99998e5c7b17> in <module>()
----> 1 textFile.count()
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 4, localhost, executor driver): org.apache.spark.SparkException: Python worker failed to connect back.
at org.apache.spark.api.python.PythonWorkerFactory.createSimpleWorker(PythonWorkerFactory.scala:170)...
У многих есть та же проблема, но они решаются путем изменения версии Java на 8, но я использую версию Java 8 дажеМысль об ошибке
Любая помощь приветствуется.
Спасибо.