Чтобы освободить место в памяти, я планирую удалить некоторые файлы из hdfs.У меня кластер из 3 узлов.
Если я удаляю файл из hdfs, он также автоматически удалит файл из реплицированных узлов данных?
Да, он также удаляется из реплицированных узлов данных, но это занимает некоторое время.Для немедленного удаления файла без мусора используйте флаг -skiptrash.Эта ссылка также полезна:
Когда файл удаляется пользователем или приложением, он не сразу удаляется из HDFS.Вместо этого HDFS сначала переименовывает его в файл в каталоге / trash.Файл можно быстро восстановить, если он остается в / trash.Файл остается в / trash в течение настраиваемого промежутка времени.По истечении срока действия в / trash NameNode удаляет файл из пространства имен HDFS.Удаление файла вызывает освобождение блоков, связанных с файлом.Обратите внимание, что между временем удаления файла пользователем и временем соответствующего увеличения свободного места в HDFS может существовать значительная задержка по времени. Пользователь может отменить удаление файла после его удаления до тех пор, покаон остается в каталоге / trash.Если пользователь хочет восстановить удаленный файл, он может перейти в каталог / trash и получить файл.Каталог / trash содержит только самую последнюю копию файла, который был удален.Каталог / trash аналогичен любому другому каталогу с одной специальной функцией: HDFS применяет указанные политики для автоматического удаления файлов из этого каталога.Текущей политикой по умолчанию является удаление файлов из / trash старше 6 часов.В будущем эта политика будет настраиваться через четко определенный интерфейс.
Когда файл удаляется пользователем или приложением, он не сразу удаляется из HDFS.Вместо этого HDFS сначала переименовывает его в файл в каталоге / trash.Файл можно быстро восстановить, если он остается в / trash.Файл остается в / trash в течение настраиваемого промежутка времени.По истечении срока действия в / trash NameNode удаляет файл из пространства имен HDFS.Удаление файла вызывает освобождение блоков, связанных с файлом.Обратите внимание, что между временем удаления файла пользователем и временем соответствующего увеличения свободного места в HDFS может существовать значительная задержка по времени.
Пользователь может отменить удаление файла после его удаления до тех пор, покаон остается в каталоге / trash.Если пользователь хочет восстановить удаленный файл, он может перейти в каталог / trash и получить файл.Каталог / trash содержит только самую последнюю копию файла, который был удален.Каталог / trash аналогичен любому другому каталогу с одной специальной функцией: HDFS применяет указанные политики для автоматического удаления файлов из этого каталога.Текущей политикой по умолчанию является удаление файлов из / trash старше 6 часов.В будущем эта политика будет настраиваться через четко определенный интерфейс.