Понимание Hadoop Simulator Mumak - PullRequest
Новая
       6

Понимание Hadoop Simulator Mumak

1 голос
/ 18 ноября 2011

Недавно я пытался понять работу Mumak (см., Например, MAPREDUCE-728 )

Он в основном берет трассировку задания и топологию и моделирует hadoop.Я не мог понять, как он распределяет разбиения по узлам.Что означает мумак под локальной и нелокальной задачами?

1 Ответ

1 голос
/ 09 января 2012

В MapReduce есть понятие «локальность», которое показывает, насколько «далеко» выполняется задача от данных, над которыми она работает.Наилучшим вариантом является выполнение задачи на узле, который содержит необходимые данные.Второй лучший вариант - это узел в той же стойке, что и узел, содержащий данные и т. Д.

Mumak имеет возможность замедлять задачи, запланированные на нелокальных узлах, используя следующие параметрываш файл конфигурации: 

<property>
    <name>mumak.scale.racklocal</name>
    <value>1.5</value>
    <description>Scaling factor for task attempt runtime of rack-local over
    node-local</description>
</property>

<property>
    <name>mumak.scale.rackremote</name>
    <value>1.8</value>
    <description>Scaling factor for task attempt runtime of rack-remote over
    node-local</description>
</property>
...