Планировщик воздушного потока останавливает планирование задач, когда max_active_runs_per_dag установлен слишком высоко и с высокой пропускной способностью - PullRequest
0 голосов
/ 18 января 2020

На данный момент я довольно тщательно это проверил. Я довел себя до смешного числа работников, до меньшего числа работников с гораздо большим объемом ОЗУ и ЦП, настраивая различные конфигурации обратно на значения по умолчанию и т. Д. c. Единственное, что останавливает Airflow от задач планирования, - это установка max_active_runs_per_dag на значение выше 64, а затем планирование на 64 выполнения одной и той же группы доступности базы данных. Это также происходит с довольно громоздким экземпляром планировщика. 4 ядра, 16 ГБ оперативной памяти и использование 2 потоков.

Спасибо!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...