Hadoop Mapper испускает уникальный ключ. Можно ли выполнять редуктор после каждой карты? - PullRequest
1 голос
/ 25 июня 2011

Мой картограф испускает «uniq key» - пара «очень большого значения».

Мой редуктор не знает, что ключ уникален. Таким образом, редуктор ожидает завершения всех преобразователей.

Я пытался использовать сумматор, но это не простое решение для меня, потому что мой редуктор очень сложный.

Мой вопрос: как я могу выполнить редуктор после каждой карты? без использования комбайнера.

Ответы [ 3 ]

3 голосов
/ 26 июня 2011

Если ваши ключи уникальны, уменьшать их не нужно.Поэтому просто скопируйте и вставьте код редуктора в маппер и установите номер редуктора в ноль.Кстати, есть много карт сокращений заданий, которые не требуют шага уменьшения, так что это не что-то странное.

2 голосов
/ 26 июня 2011

Если вы заранее знаете, что ваш ключ уникален, тогда вы можете переместить весь код со ступени редуктора на карту и выполнить всю работу там.

0 голосов
/ 25 июня 2011

Я не понимаю вашего вопроса.Вы можете просто не указывать объединитель в конфигурации задания.

...