Разделение Hadoop Map и сокращение задач - PullRequest
Новая
       29

Разделение Hadoop Map и сокращение задач

1 голос
/ 16 апреля 2011

В 3-х узловом кластере hadoop.Я хотел бы, чтобы мастер был 1 узел.Карта задач выполняется в одном узле и сокращает задачи в 1 узле.Карта и сокращение задач должны быть разделены.Является ли это возможным?Насколько я заметил, оба бегут вместе.Будет здорово, если вы сможете пролить немного света.Спасибо!

-Sethu

1 Ответ

4 голосов
/ 16 апреля 2011

Это все, что не является оптимальным, поскольку выходные данные карты ВСЕГДА должны быть скопированы на другой сервер.
Но вы можете просто изменить свой mapred-site.xml на серверах.

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>

<property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>

На сервере, на котором не должны работать никакие редукторы, вы должны положить в limit.task.maximum ноль.И наоборот для других серверов.

...