Как показать самые старые метрики из очереди? Графана / Prometheus

Question

У меня есть панель в графане, которая показывает текущие оповещения (простой запрос ALERTS {alertstate = "firing"} с параметром instant = enable). Я хочу знать время, когда оповещение сработало в первый раз. Как я могу это сделать?

Как мне кажется, мне нужно отсортировать очередь по значениям времени и взять самые старые. Но я не могу найти инструменты для этого.

Answer 1

Вы можете начать с чего-то вроде этого запроса:

timestamp(
    absent(ALERTS{env=~"$env",job=~"$job",alertstate="firing"} offset 1m)
  unless
    absent(ALERTS{env=~"$env",job=~"$job",alertstate="firing"})
)

с Min step = 1m и Resolution = 1/1, но это даст вам все время, когда любое оповещение начинало срабатывать (независимо от того, срабатывает оно или нет; и в том числе каждый раз, когда оно включается).

Или вы можете использовать Дискретную панель (что я и делаю) для глазного яблока, когда оповещения запускаются и прекращают срабатывать, и при желании, когда оповещение переходило от предупреждения к критическому (если вы их настроили) таким образом).