Кроноподобное планирование в Airflow - PullRequest
0 голосов
/ 17 декабря 2018

Данные публикуются каждое утро понедельника через FTP-сервер.В каталоге каждой недели есть новый архив с именем, например data_YYYYMMDD.zip.

Мой DAG имеет schedule_interval = '0 8 * * 1'.Оператор Python получает имя файла из переменной ds и загружает файл.Затем имя файла передается последующим операторам (4 параллельно) через XCom.

Проблема, связанная с получением данных на этой неделе на следующей неделе.Я знаю, что Airflow запускает мою работу один schedule_interval ПОСЛЕ даты начала, в конце периода.

Мой обходной путь - использовать переменную next_execution_date вместо переменной ds.

В Airflow есть способ удалить задержку на одну неделю (один график)?

1 Ответ

0 голосов
/ 17 декабря 2018

Вы можете попробовать airflow.macros.ds_add , чтобы добавить / вычесть количество дней по умолчанию ds макрос даты.

EXEC_DATE = '{{ macros.ds_add(ds, 7) }}'
...