Hadoop рекомендует простое число карт / уменьшить задачи? - PullRequest
Новая
       24

Hadoop рекомендует простое число карт / уменьшить задачи?

1 голос
/ 14 февраля 2012

Я видел это в файле конфигурации шаблона: 

<property>
    <name>mapred.map.tasks</name>
    <value>2</value>
    <description>The default number of map tasks per job.  Typically set
    to a prime several times greater than number of available hosts.
    Ignored when mapred.job.tracker is "local".  
    </description>
</property>

...

<property>
    <name>mapred.reduce.tasks</name>
    <value>1</value>
    <description>The default number of reduce tasks per job.  Typically set
    to a prime close to the number of available hosts.  Ignored when
    mapred.job.tracker is "local".
    </description>
</property>

Я не смог найти никакой другой ссылки, ни в Интернете, ни в книге Hadoop O'Reilly, относительно того, почему они должны быть простыми . У кого-нибудь есть идеи?

Спасибо.

1 Ответ

2 голосов
/ 14 февраля 2012

См. HADOOP-5519 ; его больше нет в файле конфигурации, так как для этого не было (или мало) причин.

Я не видел его по крайней мере в двух версиях, и JIRA говорит, что это было решено пару лет назад.

...