Как передать объект генератора питона из одной задачи Airflow в другую? - PullRequest
2 голосов
/ 09 июля 2019

Я пытаюсь передать объект генератора, полученный из функции генератора, которая имеет оператор yield. У меня есть некоторый код, который выполняется до yeild, и некоторый код, который выполняется после yield. Я хотел создать две задачи Airflow, где код до yeild будет выполняться в одной задаче, а код после yield будет выполняться во второй задаче. Итак, для этого случая, как я могу передать объект генератора из одной задачи в другую? Airflow XCOM не работает, так как объект генератора питона не может быть засечен.

Например:

#Generator function
def greet_world():
    print("Hello World!")
    yield 
    print("Goodbye world!")

Утверждение "Привет, мир!" должно быть выполнено в первом задании Airflow и во втором утверждении "Прощай, мир!" должен быть выполнен во втором задании Airflow.

...