ИСПОЛЬЗУЙТЕ XCOM, тяните и подталкивайте поддиапазоны воздушного потока - PullRequest
Новая
       35

ИСПОЛЬЗУЙТЕ XCOM, тяните и подталкивайте поддиапазоны воздушного потока

0 голосов
/ 23 сентября 2019

Я очень новичок в Airflow, и у меня есть два подзаголовка, т.е. SUBDAG_A и SUBDAG_B.

SUBDAG_A использует функцию function_A, и выходные данные функции - даты, т.е. min_date и max_date. Мне нужно использовать эти датыв SUBDAG_B. Ниже приведены поддаги 

//SUBDAG_A
t_dates_processed = SubDagOperator(
    subdag=date_range(
        dag_id,
        "date_range",
        default_args,
        dag.schedule_interval,
        OUTPUT_PATH //path of csv files to extratc min and max date 
    ),
    task_id="date_range",
    pool="spark_job_pool",
    default_args=default_args,
    dag=dag)

//SUBDAG_B
t__csv_parquet = SubDagOperator(
    subdag=csv_parquet(
        dag_id,
        "csv_parquet",
        default_args,
        dag.schedule_interval,
        OUTPUT_PATH,
        POSTGRES_URL,
        POSTGRES_USERNAME,
        POSTGRES_PASSWORD,
        PARQUET_PATH,
        '20190101', //MIN_DATE  (THIS IS COMING FROM SUBDAG_A)
        '20130106   // MAX_DATE (THIS IS COMING FROM SUBDAG_A)
    ),
    task_id="csv_parquet",
    pool="spark_job_pool",
    default_args=default_args,
    dag=dag)

Я не уверен, как я могу сделать xcom_pull из SUBDAG_A и отправить его в SUBDAG_B

Может кто-нибудь помочь мне в этом

...