Hadoop - увеличение задач карты в xml не увеличивает задачи карты при запуске - PullRequest
Новая
       4

Hadoop - увеличение задач карты в xml не увеличивает задачи карты при запуске

5 голосов
/ 08 октября 2011

Я добавил следующее в свой conf/mapred-site.xml 

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property>

<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>1</value>
</property>

Но когда я запускаю задание, оно все равно запускается 2 maps(which is default one)?Как я могу заставить это число увеличиваться?

PS Я использую Ubuntu Quad core box

Спасибо

Ответы [ 3 ]

4 голосов
/ 08 октября 2011

Вы используете небольшой объем данных?Возможно, ваше задание MapReduce выполняется только для одного входного разбиения и, следовательно, не требует дополнительных картографов.Вместо этого попробуйте выполнить свою работу на сотнях МБ данных и посмотрите, сохраняется ли та же проблема.

Максимальное количество задач, которые можно запустить на одном узле, никак не связано с количеством задач карты вработа имеет.Ваша работа может состоять из 20 картографических задач, в то время как в вашем кластере 5 слотов для карт, и это займет больше времени.Или в вашем кластере может быть 50 слотов для карт, но в вашей работе может быть только 2 слота для карт.

2 голосов
/ 19 ноября 2011

mapred.tasktracker.map.tasks.maximum - максимальное количество задач, которые может одновременно запускать тачкер задач.Но если вы хотите установить количество задач карты для задания в целом, установите mapred.map.tasks на 4.

0 голосов
/ 08 октября 2011 
<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>1</value>
  <final>true</final>
</property>

Попробуйте это.

...