Я использую Fair Scheduler для управления заданиями pyspark в кластере. Однако я не понимаю, как задания назначаются пулам в Fair Scheduler.
Например, в моем текущем кластере у меня есть очереди 1..10, есть работы, выполняющиеся в очередях 1,2,3,4, а другие очереди пусты. Теперь, если я запускаю задание для запуска в свободной очереди (скажем, 10), я ожидаю, что оно будет в рабочем режиме, поскольку очередь свободна. Но он застрял в режиме ожидания.
Все пулы имеют политику честного планирования, и для fairSharePreemptionTimeout установлено значение 30 секунд. Это запись в файле fair-scheduler.xml
`<fairSharePreemptionTimeout>30</fairSharePreemptionTimeout>`
Должен ли я добавить какую-либо запись addl в fair-scheduler.xml, чтобы очереди быстро набирали задания.
Просто скриншот моего менеджера ресурсов -
