Успешные задачи также повторно обрабатываются в случае сбоя исполнителя?

Question

Я вижу, что около 3018 задач не удалось выполнить, так как умерло около 4 исполнителей.

Сводка по исполнителям (как показано ниже в Spark UI) имеет совершенно другую статистику.Из 3018 около 2994 правильно завершено.У меня вопрос,

1. Будут ли они еще раз пробованы?
2. Есть ли конфигурация для переопределения / ограничения этого?

Answer 1

После мониторинга задания и проверки вручную попытка подсчитывает событие для успешных задач, реализовано

Будут ли они повторены снова?- Да, даже успешные задачи повторяются.

Есть ли конфигурация для переопределения / ограничения этого?- Не найдено ни одной конфигурации для переопределения этого поведения.

Если умирает исполнитель (модуль kubernetes) (как с OOM или тайм-аутом), все задачи, даже если они успешно выполнены, выполняются повторно.Одна из основных причин заключается в том, что случайные записи от исполнителей теряются самим исполнителем !!!