На данный момент я довольно тщательно это проверил. Я довел себя до смешного числа работников, до меньшего числа работников с гораздо большим объемом ОЗУ и ЦП, настраивая различные конфигурации обратно на значения по умолчанию и т. Д. c. Единственное, что останавливает Airflow от задач планирования, - это установка max_active_runs_per_dag на значение выше 64, а затем планирование на 64 выполнения одной и той же группы доступности базы данных. Это также происходит с довольно громоздким экземпляром планировщика. 4 ядра, 16 ГБ оперативной памяти и использование 2 потоков.
Спасибо!