Spark сообщает об ошибке «драйвер (IP) диссоциирован» - PullRequest
Новая
       42

Spark сообщает об ошибке «драйвер (IP) диссоциирован»

0 голосов
/ 06 марта 2019

Сообщение об ошибке - 

19/03/06 03:58:20 ERROR CoarseGrainedExecutorBackend: Driver 19.17.18.20:58632 disassociated! Shutting down.

Я даже пытался увеличить память драйвера, но это было бесполезно. Таблицы огромные, но не уверен, почему это не удается

Используемая команда - 

spark-submit  --master yarn   --num-executors 72 --executor-memory 100G  --conf spark.yarn.executor.memoryOverhead=8192  --driver-memory 36G etl.py

Ошибка консоли - 

19/03/06 04:06:50 INFO ParseDriver: Parsing command: select account_id ,transid from etl_core.ACCOUNT_TRANSACTION
19/03/06 04:06:50 INFO ParseDriver: Parse Completed
19/03/06 04:06:50 INFO SparkContext: Invoking stop() from shutdown hook
...