Кубернетес (K8s) - Получите предупреждение от Прометея / Графана, когда новый контейнер не создан в течение определенного периода времени

Question

У меня есть система, в которой контейнер создается каждый час, и я хочу получать оповещение, когда контейнер не создается в течение определенного периода времени от Прометея или Графаны.Есть ли способ получить количество контейнеров, созданных в последний раз, скажем, X-hr, и отправить предупреждение, если количество контейнеров меньше?Контейнеры имеют шаблон имени, например: 2019-month-date-hour
Например: 2019-5-11-23

Я пытался использовать этот запрос, чтобы получить количество контейнеров, созданных за месяц count(count(container_last_seen{container_name=~"2019-5.*", namespace=$namespace}) by (container_name)) но не может установить оповещение графаны по этому запросу в течение определенного периода времени.

Answer 1

Это то, что вы должны сделать

1. использовать экспортер событий для захвата событий, сгенерированных в кластере kubernetes
2. получить эти события в promethues
3. создать правило prometheus дляпроверить событие создания контейнера / контейнера
4. получить уведомление о вызове prometheus через диспетчер предупреждений, используя правило