Установка уровня ведения журнала в Hadoop на WARN

Question

Я пробовал множество способов установить уровень ведения журнала в Hadoop на WARN, но каждый раз терпел неудачу. Во-первых, я попытался настроить файл log4j.properties, просто заменив «INFO» на «WARN» везде. Нет результата.

Затем я попытался дать команды Hadoop UNIX (в соответствии с http://hadoop.apache.org/common/docs/current/commands_manual.html#daemonlog):

$ hadoop daemonlog -setlevel

Возможно ли, что на самом деле нужно изменить ИСТОЧНИК-КОД, чтобы он заработал? Ведение логов часто довольно просто в управлении, в большинстве случаев это делает небольшая настройка свойств логов ...

Answer 1

Я скорее использую

HADOOP_ROOT_LOGGER = WARN, DRFA

в hadoop-env.sh

или вы можете использовать hadoop.root.loggerв log4j.properties

DRFA позволит журналам идти в File Appender, а не в Console -> System.err / out.

Answer 2

Для динамического изменения уровней журнала, чтобы перезапуск демона не требовался, используйте утилиту hadoop daemonlog.

    hadoop daemonlog -setlevel hostname:port className logLevel

Например, чтобы изменить уровень журнала журналов датодела на WARN.

    hadoop daemonlog -setlevel hostname:50075 org.apache.hadoop.hdfs.server.datanode.DataNode WARN

Answer 3

Документация Apache Hadoop немного вводит в заблуждение.Если вы устраняете неполадки, вы можете на лету изменить уровень журнала, выполнив следующие действия.Вы должны указать имя пакета, а не имя файла.

Пример: для Namenode: hadoop daemonlog -setlevel lxv-centos-01: 50070 org.apache.hadoop.hdfs.server.namenode DEBUG

Для Resourcemanager yarn daemonlog -setlevel lxv-centos-01: 8088 org.apache.hadoop.yarn.server.resourcemanager DEBUG

Указанный выше параметр пропадает при перезапуске процессов.Это временное решение проблем с отладкой.

Answer 4

Уровень журнала по умолчанию можно настроить, изменив свойство hadoop.root.logger в файле конфигурации conf/log4j.properties. Обратите внимание, что вам придется делать это для каждого узла в вашем кластере.

Пример строки в conf/log4j.properties:

hadoop.root.logger=WARN,console