Как переназначить задачу в Hadoop?

Question

Как и в Hadoop, если задача не выполняется, она назначается другому узлу. Как переназначить задачу другому?Я хочу в программу MapReduce, когда задача была назначена определенному узлу (Мой нужный узел, например, узел 1), эта задача будет переназначена (например, узлу 2).Как сделать эту работу?Есть идеи?

(я использую Hadoop 2.9.0)

Answer 1

Вы можете назначить задачу другому узлу или набору узлов, только если вы используете метки узлов.Hadoop предназначен для работы на многих узлах (например, от 20 до 500 узлов для большинства пользователей), поэтому ваш вариант использования не тот, на который будут распространяться обычные операции.Если вы действительно хотите добиться этого, у вас есть 2 варианта:

• Использовать планирование емкости и метки узлов
• Написать собственный Application Master, чтобы вы могли контролировать, какие менеджеры узлов вы хотите запускать контейнерык.

Ссылки

• Ярлыки узлов YARN
• Hadoop: Написание приложений YARN: Написание ApplicationMaster (AM)