найти и удалить нулевой байт файл в HDFS

Question

Мне нужно написать скрипт bash, который поможет мне найти и удалить все файлы нулевого байта в hdfs.

Я пытался использовать эту команду

hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }' | xargs -n100 hdfs dfs -rm

Однако это не такнайдите все файлы.

Есть ли лучший способ добиться этого.

Answer 1

Попробуйте использовать это:

for f in $(hdfs dfs -ls -R / | awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done