Обработка плохих записей в dag воздушного потока - PullRequest
0 голосов
/ 26 мая 2020

Мне нужен dag воздушного потока, чтобы сделать что-то вроде этого

download_file >> parse_file >> enrich_file

Но если, скажем, во время синтаксического анализа я нахожу «плохие» записи, мне нужно сохранить его в a db, попросите пользователя исправить его, а затем автоматически активируйте dag для перехода к enrich_file для этих исправленных записей. для "хороших" записей я хочу, чтобы исходный экземпляр dag завершился. Возможно ли такое разветвление в воздушном потоке. Подходит ли это даже для данного случая использования, или мне следует придерживаться обмена сообщениями и очередей?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...