Использование очереди ожидания в планировщике емкости - EMR - PullRequest
0 голосов
/ 07 января 2019

Я настроил планировщик емкости и запланировал задания в определенных очередях. Тем не менее, я вижу, что бывают случаи, когда задания в некоторых очередях завершаются быстрее, в то время как в других очередях есть задания, ожидающие завершения предыдущих. Это создает сценарий, когда половина моей емкости простаивает, а другая половина занята работами, ожидающими получения ресурсов.

Есть ли какая-либо конфигурация, которую я могу настроить для максимального использования. Я хочу направить ожидающие задания в другие очереди, где доступны ресурсы. Прилагается скриншот - enter image description here

1 Ответ

0 голосов
/ 09 января 2019

Похоже, здесь проблема с Capacity-Scheduler, я переключился на Fair-scheduler и определенно вижу огромные улучшения в использовании кластера, ~ 75% и намного лучше, чем 40-е годы с caoacity-scheduler

...