параметризовать или просматривать список для воздушного потока

Question

У меня есть список списков, скажем,

import itertools
test_list = list(itertools.permutations([1, 2, 3]))

Я хочу создать для каждой группы подсписков задача в потоке воздуха, как:

something_cool = PythonOperator(
  task_id='cool', 
  python_callable=do_something_cool(sub_list), 
  dag=dag)

лучший способ сделать это - написать цикл? в моем случае основной список очень длинный, и написать каждого оператора было бы очень сложно.

Есть ли способ передать оператору список и задать его параметризацию?

Answer 1

итерации для циклов прекрасно работают с определением задачи.просто держите весь def внутри .. Я не пробовал иметь дело с зависимостями .. что может быть невозможно.

dep также может быть установлен в цикле.Ух ты, я люблю воздушный поток.

см. https://www.astronomer.io/guides/managing-dependencies/