Как работает сервер истории Hadoop? - PullRequest
Новая
       70

Как работает сервер истории Hadoop?

0 голосов
/ 03 июня 2018

В файлах конфигурации есть 2 свойства, с которыми я путаюсь:

  1. Свойство yarn.nodemanager.remote-app-log-dir in yarn-site.xml:

    a.) Это свойство управляет,где будут регистрироваться журналы задач сопоставления / уменьшения?

    b.) За это отвечает Node Manager (NM)?

  2. Свойство mapreduce.jobhistory.done-dir отmapred-site.xml:

    a.) Файлы, связанные с заданиями, такие как конфигурации и т. Д., Хранятся в этом месте?

    b.) За это отвечает Application Master (AM)?

  3. Объединяет ли сервер истории (HS) обе эти данные и отображает сводную информацию в пользовательском интерфейсе?

1 Ответ

0 голосов
/ 15 июня 2018

Предполагая, что вы включили агрегирование журналов,

  • 1.a. Это каталог агрегации журналов, обычно HDFS, в который NMs агрегирует контейнерные журналы.
  • 1.b. Да.
  • 2.a. Да.
  • 2.b. Нет. MR JobHistory Server сделает это, удалив файл JobSummary и другие файлы mv в $ {mapreduce.jobhistory.done-dir} из $ {mapreduce.jobhistory..intermediate-Done-Dir}.
  • 3. Да.Сервер MR JobHistory Web, содержит информацию о задании (из $ {mapreduce.jobhistory.done-dir}) и журналы контейнеров (из $ {yarn.nodemanager.remote-app-log-dir}).
...