Планировщик воздушного потока застревает с динамически созданным DAG - PullRequest
0 голосов
/ 20 апреля 2020

мы используем Airflow 1.10.2 и недавно создали группу обеспечения доступности баз данных, которая читает файл yaml и динамически создает несколько групп доступности баз данных, как упоминалось здесь . Через некоторое время планировщик воздушного потока больше не принимает DAG, но все еще обрабатывает все другие DAG.

Вы видите, что у менеджера процессора DAG есть проблемы и он застревает, и процесс не прерывается - обычно обработка файла занимает 4 секунды: screenshot of dag_process_manager.log

Мои вопросы, есть идеи, что может вызвать это или как этого избежать? Планировщик снова забирает группу DAG при перезапуске или когда я завершаю процесс вручную. Кроме того, почему не применяется dagbag_import_timeout, для которого установлено значение 120 секунд?

Большое спасибо за любую поддержку.

Best, Philipp

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...