О переименовании файловой системы hadoop hdfs

Question

Я храню много данных в формате hdf. И мне нужно переместить файлы из одной папки в другую.

Могу ли я спросить, в целом, сколько стоит метод переименования файловой системы? Скажем, мне нужно переместить терабайты данных.

Большое спасибо.

Answer 1

Перемещение файлов в HDFS или любой файловой системе, если оно реализовано должным образом, включает в себя изменения в пространстве имен и не перемещение реальных данных. При выполнении кода выполняются только изменения в пространстве имен (память и журнал редактирования) в узле имени.

Из NameNode.java класс

• NameNode управляет двумя критическими таблицами:
• 1) filename-> blocksequence (пространство имен)
• 2) block-> machinelist ("inodes")

Только первая часть должна быть изменена, блок в список машин не должен быть. Я не пробовал, но думаю, все должно быть в порядке.

Answer 2

Переименовать - это операция только для метаданных в HDFS. Поэтому он будет очень дешевым, как и в обычной файловой системе POSIX. Данные не перемещены. Единственный задействованный сервер - это namenode.

Исходный код для переименования можно найти здесь . Довольно прямо вперед.