Spark - истекло время пульса исполнителя X мс

Question

Моя программа считывает данные из файлов в каталоге, размер этих файлов составляет 5 ГБ.Я применяю много функций к этим данным.Я использую spark как автономный (локальный) на виртуальной машине с 32 ГБ ОЗУ.

Используемая команда:

bin/spark-submit --class ripeatlasanalysis.AnalyseTraceroute     --master local --driver-memory 30G  SparkExample-lowprints-0.0.5-SNAPSHOT-jar-with-dependencies.jar  1517961600  1518393600 3600 

1517961600 1518393600 3600 - это параметры файла JAR.

Иногда программа запускается без ошибок, иногда нет, а полученная ошибка:

Exception in thread "main" org.apache.spark.SparkException: Job aborted due 
 to stage failure: Task 0 in stage 2.0 failed 1 times, most recent   failure: Lost task 
0.0 in stage 2.0 (TID 119, localhost, executor driver):  
ExecutorLostFailure (executor driver exited caused by one of the running   tasks) 
Reason: Executor heartbeat timed out after 128839 ms
 Driver stacktrace:
   at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGSchedule  r$$failJobAndIndependentStages(DAGScheduler.scala:1887)
   at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1875)

Вопрос уже задан здесь без ответов.

Answer 1

Я не нашел много информации о вашей программе, но в целом это могло произойти из-за проблем с сетью или зависания в вычислениях, но вы можете сделать два шага.Во-первых, перераспределение фрейм данных вы работаете в большем количестве номеров, например df.repartition(1000), или вы можете перераспределить на основе столбцов соединения в случае объединения.Вы также можете увеличить maxResultsSize,

Секунда: вы можете увеличить время выполнения исполнителя и сети.

--conf spark.network.timeout 10000000 --conf spark.executor.heartbeatInterval=10000000   --conf spark.driver.maxResultSize=4g