Пряжа имеет два известных планировщика, Fair Scheduler и Capacity Scheduler.Грубо говоря, Capacity делит кластер на заранее определенные очереди, таким образом, гарантируя ресурсы для каждой очереди, планировщик Fair также делит кластер на очереди и равномерно распределяет ресурсы между очередями и внутри очереди.
Теперь, рассматривая детали каждого планировщика, мы видим, что:
- Каждый из них позволяет неравномерное разбиение кластера (весовые коэффициенты и доля ресурсов для Fair и процентное соотношение вемкость)
- Каждый из них поддерживает как FIFO, так и FAIR в планировании приложений очереди
- Оба поддерживают вычисления использования ресурсов на основе памяти и DRF
Я думаю, что обаони «выросли» в эту ситуацию, где функции были добавлены к каждому из них.Но на сегодняшний день, есть ли разница между ними?
PS Я задаю вопрос из контекста , использующего Yarn для управления Spark
РЕДАКТИРОВАТЬ: послеБыл предложен дубликат, я объясню, почему, хотя он и похож, он не полностью отвечает на вопрос, во-первых, ответы неточны, например, заявки назначаются очередям, а не заданиям.Наиболее информативным ответом является таблица сравнения, которая на самом деле взята из quora answer , она верна, но датируется 2014-2016 гг., Что, хотя и учитывает прогресс в разработке, делает ее неактуальной.