Какая часть Spark возвращает невыполненную задачу другому узлу?

Question

При сбое задачи, выполняемой на узле, Spark автоматически возвращает задачу другому узлу.Мои вопросы:

• Какая часть Spark отвечает за это?Это ApplicationMaster, драйвер или ResourceManager?
• Какова процедура восстановления невыполненной задачи?

Спасибо за любые ценные ответы

Answer 1

При сбое задачи «Искра» происходит следующее:

1. Диспетчер узлов на этой машине пытается перезапустить эту задачу на той же машине, а также сообщает APPLICATION MASTER.
2. На основе умозрительного выполнения, мастер приложения может решить запустить дублирующую задачу на другом компьютере.Диспетчер ресурсов не перезапускает задачу
3. Задача перезапускается с начала.Поскольку все разделы, обработанные этой задачей, были потеряны в том сбое, который произошел ранее.Вот где искривление родословной RDD входит в картину.spark берет родословную spark и пытается воссоздать раздел, потерянный в результате сбоя задачи.

Надеюсь, это вам пригодится.продолжайте делиться Знаниями:).