Расписание приложения YARN на активных / резервных узлах

Question

Я хотел бы иметь кластер, который разделен на 2 подкластера: «активные» узлы и «резервные» узлы.Обычно, когда приложение запланировано, я бы хотел, чтобы оно запускалось на «активных» узлах.Но если ни один «активный» узел не исправен, я бы хотел, чтобы он работал на «резервных» узлах.

Есть ли способ добиться такого поведения в YARN?

Чтобы дать немногоболее подробно, «активные» узлы кластера будут расположены в другой зоне, чем «резервные» узлы (но не так далеко от них).Таким образом, мы стараемся обеспечить многозонную высокую доступность для нашего приложения.Это означает, что после аварии в «активной» зоне приложение будет восстановлено и запланировано в «резервной» зоне.

Answer 1

Для направления заданий на определенные узлы вам понадобятся метки узлов.В Capacity Scheduler они были некоторое время (2.6 или более ранние), но для Fair Scheduler я думаю, что они планировали поддержать их в Hadoop 3.x.

Другой вариант, который следует рассмотреть, - это федерация YARN, где у вас большеодин кластер YARN, так что ваш второй будет в зоне 2, и вы можете перенаправить свою работу в зону 2, если в зоне 1 есть проблемы.

Ссылки

• Ярлыки узлов YARN
• Hadoop: федерация YARN