Обновление базы данных воздушного потока путем планирования задания в Airflow

Question

Это кажется интуитивным счетчиком, но каковы будут плюсы и минусы обновления базы данных воздушного потока путем развертывания задания в воздушном потоке?

Я рассматриваю это как вариант для настройки доступа на основе ролей путем непосредственного обновления базы данных, и поскольку Airflow является планировщиком, имеет смысл запланировать этот процесс в Airflow.

Спасибо

Answer 1

На самом деле мы делаем это, чтобы периодически очищать logs таблицу вместе с некоторыми другими общими действиями Airflow. Недостатки не так уж и плохи, если вы сначала протестировали свой код в другом месте, и вы не запускаете процесс по очень короткому графику.

Я бы рекомендовал вам прочитать модуль и классы airflow.models, а также то, как они используются, и вы используете их в качестве примеров для своего процесса; это поможет убедиться, что вы все делаете правильно, и избавит вас от ненужного дублирования.