Я сталкиваюсь со странной ситуацией при работе с Airflow DAG.Я использую контейнер Airflow и создал группу обеспечения доступности баз данных для автоматического резервного копирования моих артефактов Atlassian в корзину S3, используя следующие три шага по порядку:
Create a directory structure if it does not exist
Run the Atlassian artifact backup script.
Move the backed-up artifacts to S3 and delete the files locally.
Странное поведение, с которым я сталкиваюсь, это то, что все прекрасно работает, когда я вручную запускаю DAG.Однако запланированная группа доступности базы данных запускается каждый день правильно, а отдельные задачи никогда не выполняются.Первая задача Create a directory structure if it does not exist
показывает следующую причину зависимости Dagrun Running
:
Task instance's dagrun was not in the 'running' state but in the state 'success'.
Следующие задачи дают следующую причину для оператора зависимости Trigger Rule
:
Task's trigger rule 'all_success' requires all upstream tasks to have succeeded, but found 1 non-success(es). upstream_tasks_state={'total': 1, 'successes': 0, 'skipped': 0, 'failed': 0, 'upstream_failed': 0, 'done': 0}, upstream_task_ids={'create_directory'}