Hadoop - Карта и уменьшить застрял на 0% все время - PullRequest
Новая
       6

Hadoop - Карта и уменьшить застрял на 0% все время

0 голосов
/ 23 июля 2010

Я пытаюсь реализовать алгоритм PageRank на платформе Hadoop с Eclipse, но сталкиваюсь с некоторыми необычными проблемами :).Я попробовал это локально: установил cygwin, настроил Hadoop 0.19.2 (и 0.18.0), запустил необходимые демоны и установил Eclipse 3.3.1.Я загрузил файл testinf .txt, а затем попытался запустить пример WordCount или даже простой файл .java, и я получил этот вывод (примерно 100 раз :))):

10/07/22 22: 10: 23 INFO mapred.FileInputFormat: Общее количество путей ввода для обработки: 1
10/07/22 22:10:23 INFO mapred.JobClient: Выполнение задания: job_201007220415_0017
10/07/22 22:1024 INFO mapred.JobClient: карта 0% уменьшает 0%

Карта и уменьшение составляют 0% все время.Я попытался с Hadoop на виртуальной машине, и я получил ту же ситуацию.

Я следовал всем инструкциям со страницы Hadoop и других полезных страниц, но это не решило мою проблему.Какие-либо предложения?:)

Ответы [ 2 ]

1 голос
/ 16 августа 2012

Это звучит как проблема больше с вашей настройкой Hadoop, чем с Eclipse.Убедитесь, что у вас есть все компоненты кластера, то есть DataNode, TaskTracker, JobTracker.Если они все запущены, возможно, проблема в настройке задания.

0 голосов
/ 29 июля 2010

Вы склонны делать это на Java?Если нет, вы можете использовать драгоценный камень Ruby под названием WUKONG, который имеет пример PageRank http://github.com/mrflip/wukong/tree/master/examples/pagerank/

...