Что такое мастер приложения MapReduce?

Question

Из Hadoop. Полное руководство

Весь процесс показан на рисунке 7-1. На самом высоком уровне Есть пять независимых лиц:

• Клиент, который отправляет задание MapReduce.

• Менеджер ресурсов YARN, который координирует распределение вычислить ресурсы в кластере.

• Менеджеры узлов YARN, которые запускают и контролируют вычисления контейнеры на машинах в кластере.

• Мастер приложения MapReduce, который координирует задачи запуск задания Map-Reduce. Мастер приложений и MapReduce задачи выполняются в контейнерах, запланированных диспетчером ресурсов и управляется менеджерами узлов.

Что такое мастер приложения MapReduce?

В программе MapReduce, написанной на Java, нам нужны три вещи: функция отображения, функция сокращения и некоторый код с функцией main() для запуска задания. Владеет ли приложение MapReduce кодом с функцией main() для запуска задания сокращения карты?

Answer 1

Функция

main() в типичной программе Hadoop обычно выполняет следующие действия:

• указывает путь ввода / вывода для задания
• настраивает преобразователи / редукторы / объединители / разделители
• настраивает память

Затем он создает экземпляр интерфейса Job, запускает его и вызывает waitForCompletion, который блокируется до завершения задания.Этот вызов отправляет запрос приложения Yarn под капот, который порождает AppMaster где-то в кластере.

AppMaster отвечает за создание процессов Map / Reduce, отслеживание их состояния и создание отчетов о ходе выполнения.Для каждого задания, выполняемого в кластере Hadoop, существует 1 экземпляр AppMaster.