Сбой работы Spark, когда контекст искры закрывается, все остальное работает - PullRequest
Новая
       4

Сбой работы Spark, когда контекст искры закрывается, все остальное работает

0 голосов
/ 23 марта 2020

У меня есть работа, которая периодически запускается на спарк (имел oop версия 3.1.1), написанная в Scala. Я могу сказать, что работа успешно завершена, потому что мы получаем сводное электронное письмо и файлы находятся там, где они должны быть, но когда закрывается контекст spark, по какой-то причине возникают ошибки:

Пример 1: 

20/03/20 10:55:16 INFO BlockManager: Removing RDD 3170
20/03/20 10:55:47 ERROR CoarseGrainedExecutorBackend: Executor self-exiting due to : Driver <server-name> disassociated! Shutting down.
20/03/20 10:55:47 INFO DiskBlockManager: Shutdown hook called
20/03/20 10:55:48 ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
20/03/20 10:55:48 INFO ShutdownHookManager: Shutdown hook called

Пример 2: 

20/03/20 12:57:22 ERROR CoarseGrainedExecutorBackend: Executor self-exiting due to : Driver <server-name> disassociated! Shutting down.
20/03/20 12:57:22 INFO DiskBlockManager: Shutdown hook called
20/03/20 12:57:23 INFO ShutdownHookManager: Shutdown hook called

Что может быть причиной этой ошибки?

...