Правила запуска воздушного потока - PullRequest
Новая
       82

Правила запуска воздушного потока

0 голосов
/ 29 апреля 2020

У меня есть несколько задач в группе обеспечения доступности баз данных, из которых я хочу запустить 3-ю задачу, если все предыдущие 2 задачи были выполнены успешно. Для этого я добавил триггерное правило в task3 

Flag=True

t1 = PythonOperator(task_id=task_id,
                    python_callable=python_callable_method,
                    dag=dag)

t2 = EmrStepSensor(task_id=task_id,
                         job_flow_id=job_flow_id",
                         step_id=step_id,
                         dag=dag
                         )
t3 = TriggerDagRunOperator(task_id=task_id,
                           trigger_dag_id=trigger_dag_name,
                           trigger_rule=TriggerRule.ALL_SUCCESS,
                           dag=dag)
   t1 >> t2
if Flag:
    t2 >> t3

Даже если задача t2, то есть задание EMR, не выполнена, триггер запущен. Не уверен почему.

Есть предложения?

...