Рабочая нагрузка Hadoop - PullRequest
       9

Рабочая нагрузка Hadoop

0 голосов
/ 21 апреля 2011

В настоящее время я использую приложение wordcount в hadoop в качестве эталона. Я считаю, что использование процессора практически постоянно, около 80-90%. Я хотел бы иметь колеблющееся использование процессора. Есть ли какое-либо приложение hadoop, которое может дать мне такую ​​возможность? Большое спасибо.

1 Ответ

2 голосов
/ 22 апреля 2011

Я не думаю, что есть способ ограничить или указать диапазон для использования hadoop.Hadoop будет использовать доступный ему процессор.Когда я выполняю много заданий, я постоянно нахожусь в диапазоне + 90%.

Один из способов контролировать использование ЦП - это изменить максимальное количество картографов / редукторов, которые может запускать каждый трекер задач.,Это делается с помощью параметра mapred.tasktracker.{map|reduce}.tasks.maximum в $HADOOP_HOME/conf/core-site.xml.

. Он будет использовать меньше ресурсов ЦП на этом треккере, когда число картографов / редукторов ограничено.

Другой способ - установитьзначение конфигурации для mapred.tasktracker.{map|reduce}.tasks при настройке задания.Это заставит эту работу использовать столько картографов / редукторов.Это число будет разделено на доступные средства отслеживания задач, поэтому, если у вас есть 4 узла и вы хотите, чтобы у каждого узла был 1 сопоставитель, вы должны установить mapred.tasktracker.map.tasks в 4.Также возможно, что если узел может запускать 4 сопоставителя, он будет запускать все 4, я не знаю точно, как hadoop будет разделять задачи, но вариант принудительного набора числа для каждого задания.

Я надеюсь, что это поможет вам туда, куда вы идете.Я до сих пор не совсем понимаю, что вы ищете.:)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...