У меня есть сервер Prometheus, работающий в Kubernetes и контролирующий модули этого кластера. Также у меня есть графана для визуализации. На данный момент я отслеживаю базовое использование процессора, памяти и диска с помощью cAdvisor. Для оповещения я использую саму графану. Я создал панель инструментов, в которой есть данные для определенного пространства имен и стеков, соответствующих регулярному выражению *1002*. Чтобы получить модули, соответствующие регулярному выражению, я использую определенные переменные, которые динамически получают значения.
Все в порядке, кроме тех случаев, когда я получаю письмо с предупреждением, оно содержит название и значение метрики. Для названия метрики я получаю всю запись временного ряда от Прометея в письме с предупреждением (образец приведен ниже). То, что я действительно хочу, это просто краткое название стручка, который достигает порога и запускает аллергию.
Пример метрики-имени, полученного в настоящее время в сообщении с предупреждением:
container_fs_usage_bytes{beta_kubernetes_io_arch="amd64", beta_kubernetes_io_instance_type="c4.8xlarge", beta_kubernetes_io_os="linux", container_name="some-name-helm", device="/dev/xvda1", failure_domain_beta_kubernetes_io_region="us-east-1", failure_domain_beta_kubernetes_io_zone="us-east-1b", id="some-ID", image="aws-image-id", instance="x,y,z,w.internal", job="kubernetes-nodes-cadvisor", kubernetes_io_hostname="ip-a.b.c.d", name="some-helm-name", namespace="testing", pod_name="my-pod-name"}
То, что я хочу, это просто фактическое pod-name в качестве имени метрики. Я пытался использовать переменную шаблона, но с помощью этого имя метрики не приходит. Любые предложения, пожалуйста?