Как мне использовать Прометей + Графана, чтобы сказать, сколько раз происходит событие
в течение определенного периода времени?
У меня есть счетчик Прометея, который я увеличиваю каждый раз, когда происходит это событие. Я хотел бы отобразить его в единственном числе. Похоже, это должно быть так просто, как:
sum(increase(some_event_happened{application="example-app"}[$__range]))
А на дисплее установлено значение «Текущее».
Однако это дает числа, которые намного превышают фактическое количество событий в данном диапазоне. Кроме того, кажется, что это зависит от того, насколько сильно я сместил диапазон и насколько велик диапазон.
Что еще более важно, это приводит к сбою нашего сервера Prometheus с ошибкой нехватки памяти, когда у меня есть три или четыре из них на одной приборной панели.
Я попытался установить записанное правило для устранения сбоев, но я не нашел правильного способа нарезать правило записи, чтобы все еще иметь возможность отображать диапазон Графана.
Итак, в общем, я хочу, чтобы Singlestat отображал количество случаев, когда событие происходило в текущем временном диапазоне, установленном в панели управления Grafana. Кажется, что это очень простая вещь для системы мониторинга. Я просто использую неправильный подход?