Как очистить «Зарезервированное пространство для реплик» без перезапуска служб Had oop

Question

Как узнать, почему « Зарезервированное пространство для реплик » постоянно увеличивается и как ограничить пространство для этого типа кеша? Мы обнаружили, что « Зарезервированное пространство для реплик » превышает используемое пространство без DFS (в прошлом месяце). Но мы не выяснили, почему: (

Мы знаем, как вычислить "Non DFS", но " Зарезервированное пространство для реплик " показывает размер пространства, который не соответствует фактически занятому by "Non DFS". Например, у нас есть том 6 ТБ:

1. « Используемая DFS » занимает 4 ТБ
2. « Свободное место * 1017. * "на томе составляет 2 ТБ (эта информация получается по" df -h")
3. " Без DFS"занимает 2 ТБ (почему ??? если" df -h"показывает, что у нас есть 2 ТБ свободного места)

В настоящее время, чтобы освободить место, выделенное для этого типа кэша (« Зарезервированное пространство для реплик » ), нам необходимо перезапустить службы datanode.Но, на наш взгляд, это не решение!

Мы используем HDP v3.0.1 , HDFS v3.1 , Oracle JDK 8u181

Answer 1

Для людей, столкнувшихся с подобными проблемами. Прежде всего вы должны понять суть проблемы. Для этого прочтите описание следующих проблем:

• https://issues.apache.org/jira/browse/HDFS-8072
• https://issues.apache.org/jira/browse/HDFS-9530
• https://issues.apache.org/jira/browse/HDFS-6489

Следующие ссылки будут полезны, чтобы понять, что такое реплика блока:

• https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-1/
• https://blog.cloudera.com/understanding-hdfs-recovery-processes-part-2/

Решения

1. Найдите неправильное программное обеспечение, которое часто нарушало соединение с Had oop во время процессов записи или добавления
2. Попытаться изменить политику репликации (рискованно)
3. Обновить Had oop до последней версии

Вы не можете сбросить «Зарезервированное пространство для реплик» без перезапуска служб Had oop!