Триггер Airflow с использованием скрипта

Question

У меня есть список дагов по категориям. Эти знаки следует вызывать из главного знака, основываясь на приоритете категорий (чтобы избежать ограничения ресурсов).

Моя идея - создать скрипт на python, в котором эти категории должны запускаться на основе приоритета (не основанного на времени), который мы установили в таблице метаданных. Этот скрипт на python будет вызываться в master dag с использованием bashoperator.

Чтобы было ясно, мастер даг должен быть основан на времени. Суб даги должны запускаться от мастера в зависимости от приоритета.

Мои вопросы ..

1) Может ли dag быть запущен с помощью python? без учета времени. 2) Я хочу запустить несколько категорий дагов параллельно. Как это можно сделать. Пожалуйста, помогите мне решить эту проблему.

Answer 1

Вы можете использовать TriggerDagRunOperator и установить priority_weight для каждой задачи, которая использует TriggerDagRunOperator для достижения этой цели.

TriggerDagRunOperator : запускает прогон DAG для указанногоdag_id

priority_weight (int) - приоритетность этой задачи по сравнению с другой задачей.Это позволяет исполнителю запускать задачи с более высоким приоритетом, чем другие, когда что-то копируется.Установите priority_weight как большее число для более важных задач.