Воздушный поток: на чем основан успех SubDagOperator? - PullRequest
0 голосов
/ 19 декабря 2018

В Airflow, на чем основан успех SubDagOperator?Из документов «Поток воздуха»: marking success on a SubDagOperator does not affect the state of the tasks within.Но все ли задачи внутри SubDagOperator должны быть успешными, чтобы он записывал успех после запуска?Или он полностью отделен от состояния своих вложенных задач?Есть ли способ изменить правила успеха?

Например, скажем, в случае 1, экземпляр задачи SubDagOperator завершается неудачно, и ни одна из вложенных задач не ставится в очередь (например, ошибка SQLAlchemy).В случае 2, вложенная задача1 завершается с ошибкой, но для task1.trigger_rule устанавливается значение ALL_DONE, которое запускает задачу2, и задача2 завершается успешно.

  1. Будет ли Airflow отмечать случай 2 как успешный или сбой экземпляра задачи SubDagOperator?
  2. Если случай 2 - это сбой, есть ли способ отличить сбой от случая1 и сбой, как в случае 2?

1 Ответ

0 голосов
/ 26 декабря 2018

Успех или провал задачи подпада зависит от успеха или провала внутреннего дага (например, когда вы увеличиваете его, над циклом появляется круг).Я полагаю, что если все конечные задачи пройдены успешно или пропущены, даг будет успешным.

...