Я использую gcloud.
С Composer у меня есть среда воздушного потока, которая планирует различные конвейеры задач.
Один из этих конвейеров состоит из:
- несколько задач для подготовки к заданию потока данных
- задание потока данных
- Некоторые задачи, которые будут использовать результаты заданий
DAG настраивается для каждого шага дождаться успеха первых.
У меня проблема, задача потока данных помечена как неудачная в воздушном потоке, поэтому следующие шаги не выполняются. Однако, когда я проверяю задание в потоке данных, кажется, что оно выполнено.
это весь (вырезанный) журнал, который у меня есть в потоке воздуха:
Это известная проблема?