Когда YARN и NameNode взаимодействуют - PullRequest
0 голосов
/ 11 июня 2018

Когда задание отправлено, когда YARN и NameNode взаимодействуют?Когда работа отправляется, кому она отправляется?Может кто-нибудь объяснить сквозной поток - как работает экосистема hadoop?

Спасибо!

Ответы [ 2 ]

0 голосов
/ 11 июня 2018

Namenode : Хранит метаданные всех данных, хранящихся в узлах данных, и отслеживает работоспособность узлов данных.По сути, это архитектура ведущий-ведомый.

YARN : это означает еще один посредник по ресурсам.Пряжа состоит в основном из двух компонентов.

1.> Планирование

2.> Диспетчер приложений

Пряжа также содержит мастер, то есть диспетчер ресурсов и подчиненный, т.е. диспетчер узлов.

ДляПланирование цели, есть 3 Планировщики :

1.> FIFO 2.> Вместимость 3.> Fair-shar e

Существуеткомпонент, называемый Application Master, назначенный диспетчером ресурсов под Node Manager.

Один мастер приложения назначен одному приложению.

Теперь, когда задание появляется, менеджер ресурсов создает идентификатор задания и назначает мастер приложений для этого задания.Resource Manager связывается с Namenode для получения информации о метаданных необходимых данных, для которых необходимо выполнить задачу.И информация, полученная Resource Manager, затем передается Application Master.

Это базовый обзор работы Yarn с Namenode.Вы также можете прочитать подробно от:

YARN

0 голосов
/ 11 июня 2018

Как правило, нет прямого взаимодействия между YARN и HDFS, см. https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

Однако для выполнения заданий YARN требуются некоторые файлы (библиотеки, конфигурации и т. Д.), Которые обычно находятся на HDFS

...