Как искать внутри файлов HDFS

Question

Я хочу иметь возможность искать шаблон строки во всех папках и файлах в определенном каталоге в HDFS. не уверен, как это сделать. ниже не работает.

hadoop fs -ls -R /folder_path/ |grep -i "pattern"

Как мне искать?

Answer 1

Для файлов в одной папке HDFS вы можете использовать команду hadoop fs -cat. Это не будет искать в подпапках, хотя.

Чтобы проиллюстрировать, что если файлы находятся в папке HDFS с именем /hive-data, можно использовать следующую команду для поиска в файлах в каталоге шаблона:

hadoop fs -cat /hive-data/* | grep -i pattern