Airflow отмечает задачу потока данных как неудачную, но на самом деле успешно - PullRequest
0 голосов
/ 16 июня 2020

Я использую gcloud.

С Composer у меня есть среда воздушного потока, которая планирует различные конвейеры задач.

Один из этих конвейеров состоит из:

  1. несколько задач для подготовки к заданию потока данных
  2. задание потока данных
  3. Некоторые задачи, которые будут использовать результаты заданий

DAG настраивается для каждого шага дождаться успеха первых.

У меня проблема, задача потока данных помечена как неудачная в воздушном потоке, поэтому следующие шаги не выполняются. Однако, когда я проверяю задание в потоке данных, кажется, что оно выполнено.

это весь (вырезанный) журнал, который у меня есть в потоке воздуха: enter image description here

Это известная проблема?

...