журналы пряжи - stdout и stderr стали огромными файлами - как этого избежать

Question

Дорогие друзья и коллеги

у нас есть кластер ambari с версией hadoop - кластер 2.6.4 включает в себя 52 машины с датодами, и следующая проблема возникает на 9 машинах с датодами

, поэтому я объяснюпроблема:

Мы заметили о критической проблеме с журналами пряжи

Мы увидели, что stderr и stdout - это огромные файлы. В нашем случае sdb этосоответствующий размер диска и sdb составляет только 20G Так что фактически stderr и stdout 7G каждый файл

Таким образом / grid / sdb заполнен

У меня вопрос - можно ли ограничить эти файлы?

[root@datanode04 container_e41_1549894743658_0020_02_000002]# df -h /grid/sdb
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb         20G   20G  712K 100% /grid/sdb
[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd
/grid/sdb/hadoop/yarn/log/application_1549894743658_0020/container_e41_1549894743658_0020_02_000002
[root@datanode04 container_e41_1549894743658_0020_02_000002]# du -sh *
6.9G    stderr
6.9G    stdout

Answer 1

Это распространенный сценарий получения больших файлов журнала в кластере hadoop из-за накопления журнала, так как в кластере hadoop запущено несколько служб.Если вы работаете с управляемым Ambari кластером hadoop, вам необходимо настроить log4j.properties из Ambari.Вы можете настроить это для служб, работающих в вашем кластере hadoop.Это обеспечит ротацию и сохранение журналов в вашем кластере hadoop.

Вот ссылка для справки из hortonwork (HDP), где можно найти информацию о настройке log4j свойств различных служб, работающих в кластере hadoop.,Надеюсь, это будет полезно.