Сохранение агрегации на участке пряжи.Что это значит, как это работает?

Question

Давайте посмотрим на https://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn

Здесь у нас есть что-то вроде:

yarn.log-aggregation.retain-seconds

Какие журналы связаны с этой опцией?Hadoop DataNode?NameNode?Yarn Resource Manager?

Должен ли я установить его на всех узлах hadoop?Где?

Answer 1

Если он начинается с yarn, он применяется только к сервисам YARN.Это включает в себя Resource Manager, Node Manager и, возможно, новый сервер временной шкалы (если включен).Конкретные параметры конфигурации YARN относятся к yarn-site.xml.

Аналогично, специфические настройки конфигурации HDFS находятся в hdfs-site.xml.Обычно они начинаются с dfs.

Общие настройки относятся к core-site.xml.

Вы устанавливаете yarn-site.xml на всех хостах, на которых запущены службы YARN.