Воздушный поток: повторно запустить DAG, начиная с нового расписания - PullRequest
3 голосов
/ 09 июля 2019

Предыстория: я выполнял задание Airflow по ежедневному расписанию с start_date на 1 июля 2019 года. Собранная работа запрашивала данные каждого дня от третьей стороны, а затем загружала эти данные в нашу базу данных.

После успешного выполнения задания в течение нескольких дней я понял, что сторонний источник данных обновляет свои данные только один раз в месяц.Поэтому я просто загружал одни и те же данные каждый день.

В этот момент я изменил start_date на год назад (для получения информации за предыдущие месяцы) и изменил расписание DAG на запуск раз в месяц.

Как мне (в пользовательском интерфейсе воздушного потока) полностью перезапустите группу обеспечения доступности баз данных, чтобы она распознала мой новый start_date и расписание и запустила полную обратную засыпку, как если бы группа доступности данных была новой?

(я знаю, что эту обратную засыпку можно запросить черезкомандной строки. Однако у меня нет разрешений для интерфейса командной строки, и администратор недоступен.)

1 Ответ

2 голосов
/ 09 июля 2019

Нажмите на зеленый кружок в столбце Dag Runs для рассматриваемой работы в веб-интерфейсе.Это приведет вас к списку всех успешных запусков.

Установите флажок в верхнем левом углу в заголовке списка, чтобы выбрать все экземпляры, затем в меню над ним выберите «С выбранным», а затем«Удалить» в выпадающем меню.Это должно очистить все существующие экземпляры dag run.

Если catchup_by_default не включен в вашем экземпляре Airflow, убедитесь, что catchup=True установлен на DAG, пока он не завершит догоняющий.

...