Проверьте размер файла в hdfs

Question

Я могу получить размер файла hdfs, используя следующую команду:

hadoop fs -du -s /user/demouser/first/prod123.txt | cut -d ' ' -f 1

, который дает мне вывод в виде 82 (в байтах). Теперь я хочу объединить этот файл с другим, только если его размер меньше 100 МБ. Я использую сценарий оболочки, чтобы написать все эти команды в одном файле. Как преобразовать его в МБ, а затем сравнить размер? Для этого есть какая-то конкретная команда?

Answer 1

Просто используйте:

hdfs dfs -du -h / path / to / file

Я попытался сделать то же самое на своем кластере, скопировав вашу команду. Единственная возможная ошибка в том, что вы используете hadoop fs , просто используйте hdfs dfs и убедитесь, что вы вошли в систему как пользователь HDFS.