part-r-00000 нет такого файла или каталога

Question

Я пытаюсь запустить пример AggregateWordCount, но получаю эту ошибку, когда я использую этот код для запуска Wordcount, все работает нормально.

!/bin/bash
# test the hadoop cluster by running wordcount

# create input files
mkdir input
echo "Hello World" >input/file2.txt
echo "Hello Hadoop" >input/file1.txt

# create input directory on HDFS
hadoop fs -mkdir -p input
put input files to HDFS
hdfs dfs -put ./input/* input

# run wordcount
#hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.7-sources.jar org.apache.hadoop.examples.WordCount input output

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.7-sources.jar org.apache.hadoop.examples.AggregateWordCount input output

# print the input files
echo -e "\ninput file1.txt:"
hdfs dfs -cat input/file1.txt
echo -e "\ninput file2.txt:"
hdfs dfs -cat input/file2.txt

# print the output of wordcount
echo -e "\nwordcount output:"
hdfs dfs -cat output/part-r-00000

Answer 1

Выполняете ли вы рекурсивный поиск на hdfs с помощью приведенной ниже команды, в которой вы написали файл с output/part-r-00000

hadoop fs -ls -R /user/your_directory grep -i "output/part-r-00000"

, должны рекурсивно перечислять каталоги.

Настройте свой код или сценарий, чтобы указать к этому.