MapReduce неэффективный редуктор

Question

Что может вызвать только один редуктор в задании MapReduce, если не считать все ключи, выводимые функцией карты, одинаковыми?

Answer 1

Возможные причины:

1. У вашего кластера по умолчанию все еще есть 1 редуктор (= значение по умолчанию).
2. Ваш код явно устанавливает значение равным 1.
3. Вы работаете в локальном режиме (т.е. вообще не кластер).

Цитата из mapred-default.xml

<property>
  <name>mapred.reduce.tasks</name>
  <value>1</value>
  <description>The default number of reduce tasks per job. Typically set to 99%
  of the cluster's reduce capacity, so that if a node fails the reduces can 
  still be executed in a single wave.
  Ignored when mapred.job.tracker is "local".
  </description>
</property>