Hadoop Mapper испускает уникальный ключ. Можно ли выполнять редуктор после каждой карты?

Question

Мой картограф испускает «uniq key» - пара «очень большого значения».

Мой редуктор не знает, что ключ уникален. Таким образом, редуктор ожидает завершения всех преобразователей.

Я пытался использовать сумматор, но это не простое решение для меня, потому что мой редуктор очень сложный.

Мой вопрос: как я могу выполнить редуктор после каждой карты? без использования комбайнера.

Answer 1

Если ваши ключи уникальны, уменьшать их не нужно.Поэтому просто скопируйте и вставьте код редуктора в маппер и установите номер редуктора в ноль.Кстати, есть много карт сокращений заданий, которые не требуют шага уменьшения, так что это не что-то странное.

Answer 2

Если вы заранее знаете, что ваш ключ уникален, тогда вы можете переместить весь код со ступени редуктора на карту и выполнить всю работу там.

Answer 3

Я не понимаю вашего вопроса.Вы можете просто не указывать объединитель в конфигурации задания.