Графана и Прометей: добавьте метрики автоматически

Question

Я использую Графану и Прометей для мониторинга нашего сервера. У нас есть много процедур базы данных, таких как «select_users» или «insert_task». Чтобы отслеживать количество ожидающих вызовов процедур базы данных на сервере, мы динамически добавляем точки данных для каждого вызова процедуры в Prometheus. Теперь у нас есть точки данных, такие как "pending_select_users", "pending_insert_task" в Prometheus.

Однако, поскольку в базе данных так много процедур (и их число будет увеличиваться в процессе разработки), для нас не очень практично добавлять метрики в Grafana для каждой точки данных вручную. Есть ли способ, которым мы можем динамически добавлять метрики в Grafana? Поскольку все точки данных имеют общий префикс имени («pending_»), можем ли мы добавить метрики в Grafana с подстановочными знаками? Или есть лучший способ сделать это?

Answer 1

Поскольку Grafana использует JSON в качестве базовой DSL панели мониторинга, вы можете динамически создавать панели мониторинга каждый раз, когда добавляете новую метрику, и импортируете ее (через API) в Grafana. Я бы добавил автоматизацию поверх ваших целей Prometheus, очистил бы метрики, и если бы новые метрики (с необходимым префиксом) были найдены без соответствующей панели мониторинга, автоматизация создала бы ее и импортировала бы в Grafana. API Grafana: http://docs.grafana.org/http_api/ (специально для Панели инструментов ).