Внутренние структуры данных высокого уровня и алгоритм для Hadoop FairScheduler? - PullRequest
0 голосов
/ 12 февраля 2012

Вкратце, каковы внутренние особенности Hadoop FairScheduler?Используют ли они приоритетные очереди, кучу для определения времени ожидания каждой работы?Или какая-то другая техника используется?

1 Ответ

1 голос
/ 12 февраля 2012

Хорошее место для начала - бумага , в которой описан честный планировщик. Он подробно описывает алгоритм и предоставляет ориентиры для различных типов работ. Краткое резюме заключается в том, что он пытается увеличить общую пропускную способность кластера, выполняя небольшие задания впереди или параллельно большим заданиям. На некотором уровне вы можете описать ее как приоритетную очередь, но она более сложна, поскольку она пытается разместить задачи, которые являются либо данными, либо локальными стойками, и у нее есть различные компромиссы. Большинство планировщиков лучше рассматривать как алгоритмы минимизации, поскольку стараются уменьшить количество времени, необходимое для выполнения произвольного блока работы.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...