Как передать в dag серийный номер запланированного экземпляра (например, 1,2,3,4 для еженедельного планировщика)

Question

Есть ли способ получить serial_number запланированного экземпляра (например, 1,2,3,4 для еженедельного планировщика), чтобы я мог изменить даты начала / окончания моего запроса к базе данных

есть что-то вродеrun_id но я не уверен, что это инкрементный числовой серийный номер?

Answer 1

Я не нашел инкрементный серийный номер запланированного dag, вместо этого я изменил свой подход. Я получил запланированную дату и затем выполнил запрос к базе данных на основе этого

Для доступа к расписанию (Дата выполнения) по {{ dag_run.execution_date }}

Вы можете затем передать его в искру, вы можете сделать это

['spark-submit','/home/hadoop/test.py',"{{ dag_run.execution_date }}"]