Сомнения в отношении исполнения Pagerank

Question

Я пытаюсь выполнить код ниже: http://blog.xebia.com/2011/09/27/wiki-pagerank-with-hadoop/

Javac не показывает ошибок, но я не знаю, как получить вывод?Вот шаги выполнения, которые я выполняю:

$ javac -Xlint -classpath /home/james/Downloads/hadoop-0.20.203.0/hadoop-core-0.20.203.0.jar -d  doc WikiPageRanking.java
$ jar -cvf WikiPageRanking.jar -C doc/ .
$ bin/hadoop dfs -mkdir /user/james/wiki/in
$ bin/hadoop dfs -copyFromLocal wiki-micro.txt /user/james/wiki/in
$ bin/hadoop jar WikiPageRanking.jar org.myorg.WikiPageRanking /user/james/wiki/in /user/james/wiki/result

Это правильно?Я серьезно сомневаюсь в последнем шаге - пути ввода и вывода !!В коде они использовали wiki / in, поэтому я дал здесь тот же путь и скопировал свой образец набора данных в этот путь.Процесс уменьшения карты начинается, но я не получаю вывод !!

Answer 1

Что дают следующие команды:

hadoop fs -ls /user/james/wiki/result

hadoop fs -text /user/james/wiki/result/part*

Запуск задания не приводит к автоматическому выводу результатов задания на консоль - они обычно хранятся в HDFS (в вашем случае в пути/ пользователь / Джеймсе / вики / результат).Вы можете просмотреть содержимое этого каталога, используя первую команду, и, предполагая, что есть некоторые файлы part *, вторая команда будет выгружать их содержимое на диск

Конечное примечание - если выходной формат - SequenceFileOutputFormat и выЕсли вы используете пользовательские объекты ключ / значение, вам нужно изменить вторую команду, включив в нее свой jar:

hadoop fs -libjars WikiPageRanking.jar -text /user/james/wiki/result/part*