Способ проверить размер каталога HDFS?

Question

Я знаю du -sh в общих файловых системах Linux. Но как это сделать с HDFS?

Answer 1

До 0.20.203 и официально объявлен устаревшим в 2.6.0:

hadoop fs -dus [directory]

С 0.20.203 (неработающая ссылка) 1.0.4 и все еще совместим через 2.6.0 :

hdfs dfs -du [-s] [-h] URI [URI …]

Вы также можете запустить hadoop fs -help для получения дополнительной информации и подробностей.

Answer 2

hadoop fs -du -s -h /path/to/dir отображает размер каталога в удобочитаемой форме.

Answer 3

Расширение до Мэтт D и другие ответы, команда может быть до Apache Hadoop 3.0.0

hadoop fs -du [-s] [-h] [-v] [-x] URI [URI ...]

Отображает размеры файлов и каталогов, содержащихся в данном каталоге, или длину файла в случае, если это просто файл.

Параметры:

• Опция -s приведет к выводу агрегированной сводки длин файлов , а не отдельных файлов.Без опции -s вычисление выполняется путем перехода на 1 уровень глубины от заданного пути.
• Опция -h отформатирует размеры файла в удобочитаемом для человека fashion (например, 64,0 м вместо 67108864)
• Опция -v отобразит имена столбцов в виде строки заголовка.
• Опция -x будет исключать снимки из расчета результата.Без опции -x (по умолчанию) результат всегда рассчитывается по всем INodes, включая все снимки по заданному пути.

Ду возвращает три столбца в следующем формате:

 +-------------------------------------------------------------------+ 
 | size  |  disk_space_consumed_with_all_replicas  |  full_path_name | 
 +-------------------------------------------------------------------+ 

Пример команды:

hadoop fs -du /user/hadoop/dir1 \
    /user/hadoop/file1 \
    hdfs://nn.example.com/user/hadoop/dir1 

Код выхода: возвращает 0 в случае успехаи -1 при ошибке.

источник: Apache doc

Answer 4

При этом вы получите размер в ГБ

hdfs dfs -du PATHTODIRECTORY | awk '/^[0-9]+/ { print int($1/(1024**3)) " [GB]\t" $2 }'

Answer 5

При попытке вычислить общее количество определенной группы файлов в каталоге опция -s не работает (в Hadoop 2.7.1). Например:

Структура каталогов:

some_dir
├abc.txt    
├count1.txt 
├count2.txt 
└def.txt    

Предположим, что каждый файл имеет размер 1 КБ. Вы можете суммировать весь каталог с помощью:

hdfs dfs -du -s some_dir
4096 some_dir

Тем не менее, если я хочу, чтобы сумма всех файлов, содержащих «count», команда не выполнялась.

hdfs dfs -du -s some_dir/count*
1024 some_dir/count1.txt
1024 some_dir/count2.txt

Чтобы обойти это, я обычно пропускаю вывод через awk.

hdfs dfs -du some_dir/count* | awk '{ total+=$1 } END { print total }'
2048 

Answer 6

Для получения размера каталога hdfs можно использовать dfs -du -s -h / $ yourDirectoryName .hdfs dfsadmin -report можно использовать для просмотра быстрого отчета о хранении на уровне кластера.

Answer 7

% используемого пространства в кластере Hadoop
sudo -u hdfs hadoop fs –df

Емкость в определенной папке:
sudo -u hdfs hadoop fs -du -h /user

Answer 8

hadoop версия 2.3.33:

hadoop fs -dus  /path/to/dir  |   awk '{print $2/1024**3 " G"}' 

Answer 9

Команда должна быть hadoop fs -du -s -h \dirPath

• -du [-s] [-h] ...: Показать объем пространства в байтах, используемого файлами, которые соответствуют указанному шаблону файла.

• -s : Вместо того, чтобы показывать размер каждого отдельного файла, который соответствует
  шаблон, показывает общий (суммарный) размер.

• -h : форматирует файлы в удобочитаемом формате, а не в байтах. (Без учета МБ / ГБ / ТБ и т. Д.)

  Обратите внимание, что даже без опции -s это показывает только итоговые размеры на один уровень глубоко в каталог.

  Вывод в виде имя размера (полный путь)