После изучения и изучения основ Airflow, я все еще не могу понять, как я буду выполнять параллельную пакетную обработку данных на основе входных данных.
Например, у меня есть задача:
task1 >> task2 >> task3
Я должен ввести id для задачи 1, чтобы начать.Теперь, как я буду запускать одну и ту же задачу1 с другим идентификатором ?
Кроме того, как мне остановить систему после обработки всех пакетов идентификатора?
Iбудет использовать PythonOperator для всех моих задач.