Hdfs найти файлы ниже определенного размера

Question

Есть ли способ перечислить файлы с размером меньше определенного размера в Hdfs. Использование командной строки или даже сценарий спарк? Scala / spark был бы великолепен, так как он может работать быстрее по сравнению с командной строкой. Я просмотрел документацию Apache FileSystem, но не смог найти много информации

Answer 1

Вы можете использовать приведенную ниже команду для отображения файлов размером более 1 КБ

hdfs dfs -ls -R / | awk '$5 > 1000'

Аналогично, вы можете использовать приведенный ниже скрипт для отображения файлов размером менее 1 КБ

hdfs dfs -ls -R / | awk '$5 < 1000'

Надеюсь, это поможет.