Airflow DAG сработал, но бот запускает задачи - PullRequest
1 голос
/ 23 сентября 2019

Я сталкиваюсь со странной ситуацией при работе с Airflow DAG.Я использую контейнер Airflow и создал группу обеспечения доступности баз данных для автоматического резервного копирования моих артефактов Atlassian в корзину S3, используя следующие три шага по порядку:

  1. Create a directory structure if it does not exist
  2. Run the Atlassian artifact backup script.
  3. Move the backed-up artifacts to S3 and delete the files locally.

Странное поведение, с которым я сталкиваюсь, это то, что все прекрасно работает, когда я вручную запускаю DAG.Однако запланированная группа доступности базы данных запускается каждый день правильно, а отдельные задачи никогда не выполняются.Первая задача Create a directory structure if it does not exist показывает следующую причину зависимости Dagrun Running:

Task instance's dagrun was not in the 'running' state but in the state 'success'.

Следующие задачи дают следующую причину для оператора зависимости Trigger Rule:

Task's trigger rule 'all_success' requires all upstream tasks to have succeeded, but found 1 non-success(es). upstream_tasks_state={'total': 1, 'successes': 0, 'skipped': 0, 'failed': 0, 'upstream_failed': 0, 'done': 0}, upstream_task_ids={'create_directory'}
...