Карта идет до 100%, а затем до 0%? - PullRequest
Новая
       6

Карта идет до 100%, а затем до 0%?

2 голосов
/ 08 декабря 2011

Я новичок в MR, но, похоже, этого не случится.Это вывод: 

 11/12/07 13:24:42 INFO mapred.JobClient: Running job: job_201112071322_0001
 11/12/07 13:24:43 INFO mapred.JobClient:  map 0% reduce 0%
 11/12/07 13:24:57 INFO mapred.JobClient:  map 100% reduce 0%
 11/12/07 13:41:48 INFO mapred.JobClient:  map 100% reduce 16%
 11/12/07 13:42:18 INFO mapred.JobClient:  map 100% reduce 33%
 11/12/07 13:59:53 INFO mapred.JobClient:  map 100% reduce 0%
 11/12/07 14:00:04 INFO mapred.JobClient:  map 50% reduce 0%
 11/12/07 14:00:24 INFO mapred.JobClient:  map 0% reduce 0%

Обратите внимание на время.Он также просто сидит там, и не завершается, или ошибка.Я бы предположил, что ошибка будет в редукторе, поэтому я включил его;если другой код подозрителен, я опубликую его, просто спросите.

Код: http://pastebin.com/uuL1Cgx4

Любая помощь с благодарностью!

1 Ответ

2 голосов
/ 09 декабря 2011

Я сталкиваюсь с подобными проблемами несколько дней назад.Мой маппер опустится до 0% после достижения 100%.

Наконец я обнаружил, что определение типов данных для вывода карты и уменьшения ввода отличается.Так что опция копирования / перемещения / слияния потока данных между картой и уменьшением не будет работать, даже если hadoop JobTracker попытается это сделать.

Надеюсь, это будет полезно для вас.

...