Promotheus - запрос, чтобы получить процент увеличения событий

Question

У меня есть гистограмма запросов с путями и кодами состояния ... Как я могу предупредить, если количество ошибок увеличилось на 20% за последний час по сравнению с предыдущим часом?

один метрический образец:

{instance="someIp",instance_hostname="someHost",job="someAppName",le="+Inf",method="GET",path="somePath",status_code="500"} 

Я должен полагаться на функцию оценки? что-то вроде:

rate(http_request_duration_seconds{job="someProject", status_code="500"}[60m])

Answer 1

Возьмите отношение частоты ошибок за последний час к частоте ошибок за предыдущий 1 час:

(
  rate(http_request_duration_seconds_count{status_code="500"}[1h])
    /
  rate(http_request_duration_seconds_count{status_code="500"}[1h] offset 1h)
)
  >
1.2

Это позволит проверить увеличение абсолютного количества ошибок.Если вы хотите проверить увеличение относительного числа ошибок (например, 10% запросов не были выполнены за последний час против 5% за предыдущий час), то вам нужно разделить частоту ошибок на общую частоту запросов перед сравнением1 час назадне срабатывает, если за последний час вы получили 2 запроса, и один из них не прошел).