Почему в GCP Composer генерируется автоматический DAG 'airflow_monitoring'?

Question

При создании среды Airflow в GCP Composer автоматически создается группа DAG с именем «airflow_monitoring», которую невозможно удалить. Зачем ? Как справиться с этим? Должен ли я скопировать этот файл в папку DAG и подать в отставку, чтобы сделать его частью моего кода? Я заметил, что каждый раз, когда я загружаю свой код, он останавливает выполнение этой группы доступности базы данных, так как ее невозможно найти в папке группы доступности базы данных, пока она волшебным образом не появится снова.

Я уже пытался удалить его из папки DAG, удалить журналы, удалить его из пользовательского интерфейса, все это одновременно и т. Д.

Answer 1

DAG airflow_monitoring является проверкой жизнеспособности для каждой среды и проверкой работоспособности, которая используется для заполнения метрики мониторинга Cloud Composer environment/healthy. Он проверяет общее общее состояние вашей среды или, в частности, расписание DAG. Это позволяет вам использовать функции Stackdriver, такие как графические метрики, или устанавливать оповещения, когда ваша среда становится нездоровой.

Более подробную информацию о метрике можно найти в Списке метрик GCP , а также изучить метрику в Мониторинг Stackdriver в следующих разделах:

• Тип ресурса: среда Cloud Composer
• Метрика: Здоровая

Это DAG, управляемая Composer и использующая очень минимальные ресурсы из вашей среды. В идеале вы должны просто оставить его в своей папке DAG.