Остановите пакет Spark Job изящно - PullRequest
0 голосов
/ 02 апреля 2019

Я работаю над заданием spark, которое обновляет его статус в таблице относительно его выполнения, теперь, если таблица уже содержит успешное выполнение, мне нужно изящно остановить задание spark.

Я пытался сделать

System.exit (0)

Но работа не справляется с

ошибка: перехват вызова вызван до того, как было сообщено об окончательном состоянии.

Как правильно изящно завершить работу с искрой.

1 Ответ

1 голос
/ 02 апреля 2019

Вам просто нужно позвонить sc.stop() (в SparkContext) перед выходом из приложения.

См. Также аналогичный вопрос о pyspark .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...