Я работаю над кластером с 2 мастерами и 4 узлами, версия HDP - HDP-3.1.0.0. Я заметил большую занятость памяти HDFS из-за журналов аудита рейнджера. В частности, для Hiveserver2 есть папка на каждый день с 2019 года с 25/30 журналами:
hdfs dfs -ls /ranger/audit/hiveServer2/20191211
Found 26 items
-rw-r--r-- 3 hive hive 4686037522 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.1.log
-rw-r--r-- 3 hive hive 51296529 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.10.log
-rw-r--r-- 3 hive hive 34733943 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.11.log
-rw-r--r-- 3 hive hive 41985457 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.12.log
-rw-r--r-- 3 hive hive 41610863 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.13.log
-rw-r--r-- 3 hive hive 52317140 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.14.log
-rw-r--r-- 3 hive hive 28625266 2019-12-11 11:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.15.log
-rw-r--r-- 3 hive hive 5502165954 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.16.log
-rw-r--r-- 3 hive hive 85395980 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.17.log
-rw-r--r-- 3 hive hive 56801808 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.18.log
-rw-r--r-- 3 hive hive 36125152 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.19.log
-rw-r--r-- 3 hive hive 343622234 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.2.log
-rw-r--r-- 3 hive hive 35022393 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.20.log
-rw-r--r-- 3 hive hive 42096987 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.21.log
-rw-r--r-- 3 hive hive 67246479 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.22.log
-rw-r--r-- 3 hive hive 50916458 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.23.log
-rw-r--r-- 3 hive hive 42885408 2019-12-12 00:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.24.log
-rw-r--r-- 3 hive hive 30207523 2019-12-11 23:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.25.log
-rw-r--r-- 3 hive hive 66623851 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.3.log
-rw-r--r-- 3 hive hive 65309585 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.4.log
-rw-r--r-- 3 hive hive 89205403 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.5.log
-rw-r--r-- 3 hive hive 240566249 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.6.log
-rw-r--r-- 3 hive hive 30555945 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.7.log
-rw-r--r-- 3 hive hive 49192289 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.8.log
-rw-r--r-- 3 hive hive 49147310 2019-12-11 12:50 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.9.log
-rw-r--r-- 3 hive hive 595 2019-12-11 00:00 /ranger/audit/hiveServer2/20191211/hiveServer2_ranger_audit_bordimaster1.log
Могу ли я удалить эти журналы, не вызывая проблем в кластере?
Есть ли способ управлять такими журналами? Я хотел бы, чтобы журнал сохранялся не более одной недели.