мы используем Airflow 1.10.2 и недавно создали группу обеспечения доступности баз данных, которая читает файл yaml и динамически создает несколько групп доступности баз данных, как упоминалось здесь . Через некоторое время планировщик воздушного потока больше не принимает DAG, но все еще обрабатывает все другие DAG.
Вы видите, что у менеджера процессора DAG есть проблемы и он застревает, и процесс не прерывается - обычно обработка файла занимает 4 секунды:
Мои вопросы, есть идеи, что может вызвать это или как этого избежать? Планировщик снова забирает группу DAG при перезапуске или когда я завершаю процесс вручную. Кроме того, почему не применяется dagbag_import_timeout, для которого установлено значение 120 секунд?
Большое спасибо за любую поддержку.
Best, Philipp