Файлы HDFS в папке data / hbase / oldWALs слишком сильно растут - PullRequest
Новая
       291

Файлы HDFS в папке data / hbase / oldWALs слишком сильно растут

0 голосов
/ 08 мая 2020

Наша файловая система HDFS стремительно растет. Вот результат после того, как я запустил hdfs dfs -du -h / data / hbase , вы можете видеть, что большая часть пробелов находится в папке «oldWALs»: 

    0        0        /data/hbase/.tmp
    0        0        /data/hbase/MasterProcWALs
    2.0 G    5.0 G    /data/hbase/WALs
    241.3 M  482.5 M  /data/hbase/archive
    29.5 G   59.0 G   /data/hbase/data
    42       84       /data/hbase/hbase.id
    7        14       /data/hbase/hbase.version
    666.3 G  1.3 T    /data/hbase/oldWALs

Я отключил репликацию Hbase: 

    <property>
        <name>hbase.replication</name>
        <value>false</value>
    </property>

И интервал очистки журнала установлен на 5 минут: 

    <property>
        <name>hbase.master.logcleaner.ttl</name>
        <value>300000</value>
    </property>

Но папка продолжает увеличиваться примерно на 100 ГБ ежедневно.

Можно просто удалить папку вручную? Если нет, как очистить папку для экономии места на диске?

Спасибо.

...