Почему успешно выполненные задания на потерянного исполнителя повторно отправляются?

Question

У нас есть OutOfMemoryError в задаче, приводящей к гибели исполнителя. Успешно выполненные задачи, уже обработанные этим исполнителем, отправляются повторно.

Поскольку случайные файлы, созданные успешно завершенными задачами, должны быть записаны в локальной файловой системе. Почему эти задачи повторяются?

Редактировать: Мы используем Ambari в качестве менеджера кластера, YARN в качестве менеджера ресурсов. Служба внешнего воспроизведения в Spark отключена.

Answer 1

Чтобы повторно использовать случайные файлы, после того, как исполнитель будет выведен из эксплуатации, вы должны по крайней мере включить внешнюю службу случайного воспроизведения.В противном случае не существует процесса, который мог бы фактически передать файлы новому порожденному исполнителю.

Шаги, которые необходимо выполнить, чтобы включить его, различаются от менеджера к менеджеру и описаны в официальных руководствах для соответствующего менеджера ( Автономный , Mesos , YARN ).

Однако служба внешнего перемешивания зависит от доступа к общему хранилищу файлов, поэтому может не работать в контейнерах инапример.Подробнее об этой проблеме вы можете прочитать в SPARK-25299 и в сопроводительном проектном документе .