У меня есть ряд задач Mapper и Reducer, которые я выполняю через пользовательские шаги jar на aws.Я хочу выполнить последнюю задачу редуктора только через один редуктор.Как я могу это сделать?
Я решил свою проблему, поместив job.setNumReduceTasks (1) в основной метод моего java-файла, который содержит мой преобразователь и преобразователь.
Возможно:
SET mapreduce.job.reduces=XX
Взято из: Как вы заставляете число редукторов на карте уменьшать задание, чтобы быть выше?- Hortonworks
Или, возможно:
SET mapred.reduce.tasks=XX
От: hadoop - Как Hive выбирает количество редукторов для работы?- Переполнение стека