Чистый вид дерева в интерфейсе Airflow

Question

У меня есть DAG, запускаемый извне, который я запускаю сотни раз каждый день.Я хотел бы избежать накопления метаданных задачи на неопределенное время в DAG Tree View (см. Скриншот ниже).Какой лучший способ справиться с этим?Войти на сервер метаданных и удалить записи для этих прогонов?

Answer 1

В стандартной базе данных база метаданных Airflow будет хранить метаданные выполнения DAG и экземпляра задачи неопределенно долго.

Вы можете удалить данные из этих таблиц вручную или даже автоматизировать их удаление с помощью DAG.

Возможно, вас заинтересует репозиторий teamclairvoyant / airflow-maintenance-dags , который предоставляет db-cleanup DAG специально для этого случая использования:

Рабочий процесс обслуживания, который выможет развертываться в Airflow для периодической очистки записей DagRun, TaskInstance, Log, XCom, Job DB и SlaMiss, чтобы избежать слишком большого объема данных в MetaStore Airflow.

Кроме того, в веб-приложении AirflowВы можете настроить выпадающий список количества прогонов в DAG Tree View, чтобы показать большее / меньшее окно времени, если вы хотите сохранить данные в базе данных, но просто не видите их в пользовательском интерфейсе в данный момент.