Можем ли мы установить приоритет_тяжести для задачи в Airflow? - PullRequest
0 голосов
/ 13 марта 2019

Я знаю, что priority_weight можно установить для DAG в default_args согласно примеру в официальной документации здесь .

Можем ли мы также установить priority_weight это отличается для каждой задачи в DAG?

Следуя примеру из учебника, это будет означать, что t1 будет иметь приоритет, отличный от t2.

1 Ответ

1 голос
/ 13 марта 2019

Можем ли мы также установить приоритетный вес, который отличается для каждой задачи в группе обеспечения доступности баз данных?

Краткий ответ

Да


Длинная версия

Вы, кажется, немного запутались здесь.Ссылаясь на отрывок над фрагментом в данной ссылке:

.. у нас есть выбор явно передать набор аргументов конструктору каждой задачи (который станет избыточным),или (лучше!) мы можем определить словарь параметров по умолчанию, который мы можем использовать при создании задач ..

Так что теперь вы должны были сделать вывод, что priority_weight, который был передан в default_argsфактически предназначался для отдельных task с, а не для DAG.Конечно, глядя на код, становится ясно, что это параметр BaseOperator и , а не DAG SQLAlchemy модель


Также, как только вы узнаете вышеупомянутый факт, вы скоро поймете, что не имеет смысла назначать одинаковые приоритет каждому task из DAG.Представленный пример из официальных документов действительно, кажется, упустил это простое рассуждение (если я что-то упустил).Тем не менее, строка документа , кажется, указывает на то, что

:param priority_weight: priority weight of this task against other task.
        This allows the executor to trigger higher priority tasks before
        others when things get backed up.
...