Я только начал изучать Apache Airflow.
Есть ли способ запустить задание, которое изучит работающие DAGS и переместит эти задачи в этих DAGS в новую DAG, создав их и добавив в них эти задачи.
Например: у DAG A есть четыре задачи, четвертая ждет от 7 часов до начала - цель состоит в том, чтобы создать новую DAG и автоматически переместить эти задачи в новую DAG.
Сценарий : На самом деле у нас около 40 ВМ, и время каждой работы зависит от конкретного экземпляра. Например: Задача A сегодня займет 2 часа, а завтра может занять 12 часов в том же DAG. Мне нужно переместить эту задачу в другую группу обеспечения доступности баз данных, если время ожидания какой-либо задачи превышает определенное время для мгновенного запуска на другой виртуальной машине.
Основное преимущество заключается в том, чтобы максимально сократить время ожидания задачи, создавая динамические группы обеспечения доступности баз данных