Поддерживает ли HBase MapReduce этап объединения? И если да, то как? - PullRequest
2 голосов
/ 02 февраля 2011

Карта Hadoop уменьшает поддерживает стадию объединителя.Однако я не могу найти подобную возможность в пакете HBase MapReduce.Это существует?

Ответы [ 2 ]

3 голосов
/ 04 февраля 2011

Если вы выполняете задание MapReduce с HBase в качестве входного формата и выходных форматов, отличных от hbase, это одно и то же.

Объединитель - это редуктор, который работает только на выходе одного преобразователя. Пока вы делаете только то, что идемпотентно в вашем редукторе, вы можете поместить свой редуктор в слот объединителя, просто сказав: job.setCombiner (.class);

1 голос
/ 18 сентября 2012

Вы можете использовать job.setCombiner (.class);метод для использования класса комбинера в карте.Редуктор также действует как сумматор

...