Resource Manager для обработки крупномасштабных рабочих процессов в гетерогенных системах - PullRequest
1 голос
/ 13 декабря 2011

Я ищу менеджер ресурсов с открытым исходным кодом, который может управлять крупномасштабными рабочими процессами в распределенной вычислительной среде.Я провел опрос TORQUE, SLURM, LOADLEVELER, SLURM лучше, чем TORQUE, для обработки больших узлов, но в одном кластере.Все они используются для периодических систем.Кондор используется для сеточных сред, но обеспечивает крупнозернистую распределенную пареллизацию.Я чувствую, что Ganglia и Nagios хороши в средах высокопроизводительных вычислений.Но я хочу знать, можно ли использовать Ganglia и Nagios для рабочих процессов?Может ли мой алгоритм планирования встроен в планировщик и использовать его с Resource Manager через Hadoop MapReduce Framework?Полезные ответы более ценны.Спасибо.

1 Ответ

2 голосов
/ 13 декабря 2011

Ganglia и Nagios являются инструментами мониторинга, они не дадут вам управление ресурсами. Оформить последнюю версию Hadoop. Он поставляется с внутренним управлением ресурсами.

Новый ResourceManager управляет глобальным назначением вычислений. ресурсы для приложений и ApplicationMaster для каждого приложения управляет планированием и координацией приложения.

http://hadoop.apache.org/common/docs/r0.23.0/

...