Установлены вместе prometheus и grafana для мониторинга наших веб-сервисов.
Prometheus очищает задание соответствующим образом, но я не понимаю, как я смогу определить, упало ли значение счетчика http_requests.
У нас есть несколько узлов, обслуживающих одни и те же сайты.
если я сделаю что-то вроде.
sum by (vhost) http_requests{vhost=~"example.*"}
Например, приведенный выше запрос дает мне хороший график от 0 до 4000, тогда он возвращается к 2К через 4-минутный интервал, затем снова начинает увеличиваться.
Это указывает на правильное движение, поскольку в этот период времени услуги были отключены для целей тестирования.
Однако я бы хотел реализовать alertmanager в этом случае, например, проверьте последние 2 минуты, если счетчик уменьшился. 500 отправить предупреждение.
Пробовал с [2m] в этом запросе, но это дает мне ошибку.
Пробовал с увеличением что дает мне среднее значение, и есть взлеты и падения, даже когда услуги были выполнены.
Любая идея, какую функцию я должен использовать для определить отключения в 2минутном интервале?