Данные публикуются каждое утро понедельника через FTP-сервер.В каталоге каждой недели есть новый архив с именем, например data_YYYYMMDD.zip
.
Мой DAG имеет schedule_interval = '0 8 * * 1'
.Оператор Python получает имя файла из переменной ds
и загружает файл.Затем имя файла передается последующим операторам (4 параллельно) через XCom.
Проблема, связанная с получением данных на этой неделе на следующей неделе.Я знаю, что Airflow запускает мою работу один schedule_interval ПОСЛЕ даты начала, в конце периода.
Мой обходной путь - использовать переменную next_execution_date
вместо переменной ds
.
В Airflow есть способ удалить задержку на одну неделю (один график)?