Оповещение об отсутствующих сериях / данных

Question

Я пытаюсь понять, как я могу получить уведомление от Grafana, когда метрика больше не очищается.

Метрика, которую я использую для этого примера, - mongodb_instance_uptime_seconds.Когда экземпляр отключается, метрика больше не генерируется, что приводит к отсутствию метрики в Prometheus.На данный момент предупреждение срабатывает на when last() query(A, 1m, now) < 600.Как вы можете видеть, цель состояла в том, чтобы предупредить, когда время работы меньше 5 минут.Это означает, что я хочу оповещать о перезапусках и остановках, но Grafana не будет оповещать, когда один экземпляр отключится, потому что значение last() фактически не существует, а когда экземпляр не работает более 5 минут, о нем даже не сообщается.

Какие-нибудь подсказки о том, как двигаться вперед?

Answer 1

Метрика, которая обычно используется для определения того, удаляется ли экземпляр успешно, равна up.Он автоматически генерируется всеми заданиями очистки, поэтому, если вы хотите получить предупреждение для любой конечной точки очистки, просто используйте запрос up == 0, который покажет все конечные точки, чья последняя очистка не была успешной.Если вы хотите получать оповещения только об этой конкретной конечной точке, используйте метки, такие как up{instance="mongodb.foo.com",job="mongo"} == 0

. Если вы когда-нибудь захотите использовать для этого Alertmanager вместо Grafana, правило будет выглядеть следующим образом:

groups: - name: General rules: - alert: Endpoint_Down expr: up == 0 for: 5m labels: severity: critical annotations: summary: "Exporter is down: {{ $labels.instance }}" description: "The endpoint {{ $labels.instance }} is not able to be scraped by Prometheus."