Мой даг анализирует около 50 секунд, я использую только внешние триггеры для запуска дагов, никаких расписаний. Я заметил, что airflow хочет много заполнить dagbag -> При каждой команде trigger_dag И в фоновом режиме он продолжает проверять папку dags И, по-видимому, мгновенно создает файлы .pyc после развертывания нового .py.
Могу ли я в любом случае развернуть свой кластер и один раз заполнить дагс! Затем в течение следующих 2 недель получите dagruns, запускающиеся мгновенно с любого trigger_dag (сейчас требуется 50 секунд, чтобы заполнить dagbag перед запуском). У меня нет необходимости обновлять определения dag в течение 2 недель.