Я провел почти день, но не мог понять, как использовать IdentityReducer в новом Hadoop API.Все ссылки или классы, которые я могу найти, со старым API.И очевидно, что смешивание старого класса API idetntitreducer с новой базой кода API не идет хорошо.Любая помощь будет оценена.
В основном потому, что в новом API Mapper и Reducer являются классами, а не интерфейсами, они являются новой заменой IdentityMapper / Reducer.
Mapper
Reducer
Так что вам просто нужно использовать Mapper.class и Reducer.class, чтобы получить личность.
Mapper.class
Reducer.class
Потоковая передача Hadoop - Hadoop 1.0.2
Согласно это , команда
-x org.apache.hadoop.mapred.lib.IdentityX
где x = преобразователь или редуктор и X = преобразователь или редуктор соответственно.
Я проверил себя и работает.
Посмотрите:
http://hadoop.apache.org/common/docs/r1.0.0/api/org/apache/hadoop/mapred/lib/IdentityReducer.html
Это для стабильной версии hadoop