Запустить задачу Airflow на основе событий утешения из очереди утешения

Question

Я только начал изучать поток воздуха ... !!

Мне нужно создать группу обеспечения доступности баз данных, которая содержит задачу для прослушивания событий из очереди утешения. Может быть несколько событий, которые задача будет прослушивать в зависимости от события (сообщение) оно должно перейти к следующей задаче.

Как только прослушиватель событий прослушивает событие E1, он должен вызвать задачу «Событие E1» и запустить прослушивание следующего события.

То же самое относится и к другим событиям (задачам), когда слушатель получает все события, он должен стать зеленым (успешно).

Я знаю, что на основе событий мы можем запускать следующее задание путем ветвления, но как мы можем убедиться, что первая задача выполняется до тех пор, пока не будут получены все события

Answer 1

Я не проверял это, но это должно дать вам структуру, которую вы ищете, я верю.

# wait_eN = Your event waiting tasks
# work_eN = Your event working tasks

wait_e1 >> (wait_e2, work_e1)
wait_e2 >> (wait_e3, work_e2)
wait_e3 >> work_e3