Кеширует ли глобальная переменная Airflow при повторном запуске - PullRequest
0 голосов
/ 28 мая 2020

У меня есть задание Airflow, как показано ниже:

import time

job_id = int(time.time())

airflow_job1 = PythonOperator(op_kwargs={"job_id" : job_id}, ...)
airflow_job2 = BashOperator(op_kwargs={"job_id" : job_id}, ...)

airflow_job1 >> airflow_job2

Я знаю, что каждый раз, когда запускается скрипт, у меня будет новый job_id, используемый в каждой задаче воздушного потока. Но мне интересно, что, если я запустил скрипт из середины, например, сбой airflow_job1, и я исправлю проблему и перезапущу из airflow_job1 в пользовательском интерфейсе, будет ли новый job_id, созданный при повторном запуске, или Airflow использует последний job_id перед?

1 Ответ

0 голосов
/ 28 мая 2020
• 1000 не следует устанавливать глобальный параметр таким образом, возможно, используйте xcom_pull / xcom_pu sh для решения этого
...