После установки anaconda3 и установки spark (2.3.2) я пытаюсь запустить пример кода pyspark.
Это просто пример программы, которую я запускаю через Jupyter,
я получаю сообщение об ошибке типа
Рабочий Python не смог подключиться обратно.
Согласно приведенному ниже вопросу в переполнении стека:
Рабочий Python не смог подключиться обратно
я вижу решение, подобное этому
Я получил ту же ошибку. Я решил это, установив предыдущую версию Spark (2.3 вместо 2.4). Теперь он работает отлично, возможно, это проблема последней версии pyspark.
Но я использую версию 2.3.1 и версию Python 3.7
Тем не менее, я столкнулся с этой проблемой. Пожалуйста, помогите мне решить эту ошибку
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("mySparkApp").getOrCreate()
testData=spark.sparkContext.parallelize([3,8,2,5])
testData.count()
Отслеживание:
Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 1.0 failed 1 times, most recent failure: Lost task 2.0 in stage 1.0 (TID 6, localhost, executor driver): org.apache.spark.SparkException: Python worker failed to connect back.
at org.apache.spark.api.python.PythonWorkerFactory.createSimpleWorker(PythonWorkerFactory.scala:170)
at org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:97)
at org.apache.spark.SparkEnv.createPythonWorker(SparkEnv.scala:117)
at org.apache.spark.api.python.BasePythonRunner.compute(PythonRunner.scala:108)
at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:65)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324)