Можно ли изменить расписание DAG для Airflow в интерфейсе Airflow? - PullRequest
2 голосов
/ 08 марта 2019

Я новичок в Apache Airflow.Я изменял schedule_interval и заменял скрипт python, каждый раз, когда я хочу изменить время выполнения.

Могу ли я изменить расписание DAG без загрузки нового скрипта python?

Спасибо

1 Ответ

1 голос
/ 08 марта 2019

Существует плагин Airflow, который позволяет (визуально) генерировать и модифицировать Dag, см. здесь .Похоже, он устарел и не очень активно развивается.

Общая идея для Airflow - это, грубо говоря, etl-as-code, включая такие преимущества, как управление версиями кода и т. Д., Т. Е. Вам необходимо знать о проблемах, возникающих из-за переопределения таких центральных аспектов, как время расписания изUI.Например, когда вы можете редактировать расписание по времени в пользовательском интерфейсе (но это не изменит сам код), каким будет состояние вашей группы доступности базы данных?Тем не менее, это точно не невозможно, и дизайн Airflow допускает такие модификации.

tldr; Конечно, можно настроить пользовательский интерфейс (см. Выше, например, с помощью плагинов Airflow) и фактическиВаше требование очень понятно, особенно если учесть нетехнических пользователей, которые не могут загружать / изменять код.

Другой, возможно, более простой вариант - использовать Переменные в Airflow, т.е. тянутьстрока расписания schedule / time / cron-linke (1 * * * *, daily и т. д.) из переменной Airflow;такие переменные могут быть изменены в графическом интерфейсе, так что это может сработать для вас.

...