Правильно ли, что мастер работает на датоде?

Question

Я использую giraph-1.3, построенный с использованием профиля пряжи. Для запуска я настроил 1 namenode и 2 datanodes в кластере ec2. Мое приложение работает правильно, потому что я вижу ожидаемый вывод в журналах (и в выходной каталог). Я запустил giraph с аргументом "-w 2", потому что у меня есть два datanodes.

В логах пользователя datanode1 я нашел журнал первого работника.
в логах пользователя datanode2 я нашел журнал второго работника и журнал мастера тоже.

Я ожидал найти журнал мастера в namenode, т.е. я ожидал, что мастер работает в namenode. Это правильно?

Может быть, мне нужно настроить другую датододу, и тогда я найду основные журналы для этой новой датододы?

Answer 1

YARN всегда создает мастер приложений для каждой работы.

Вы можете запустить столько «рабочих», сколько захотите, в зависимости от вашей рабочей нагрузки, но, поскольку у вас есть только 2 узла данных, у вас может быть только 2 NodeManager для максимальной параллелизма

NodeManager имеет максимальный объем доступной памяти, и контейнеры YARN для задач задания получают подраздел этого для выполнения обработки.

Answer 2

Я понял, что hadoop / giraph создает контейнеры на датоде. Hadoop создает контейнер для мастера приложения, затем giraph создает контейнер для мастера. Кроме того, giraph создает номер контейнера для рабочих, соответствующий параметру -w.