Объединение метрик с различными метками для оповещений

Question

Итак, вот мое намерение: у меня есть экспортер узлов на каждом сервере, который предоставляет мне метрику «вверх», дело только в том, что экспортер не работает, это не значит, что сервер не работает.Поэтому дополнительно используйте экспортер Blackbox и проверьте, доступен ли сервер через icmp.Теперь я хочу объединить обе метрики в оповещение, потому что если сервер недоступен через Ping и экспорт не работает, высока вероятность того, что сервер фактически не работает.

Вот мой запрос:

Instance:Up == 0 and ON(instance) instance:probe_success == 0

Проблема в том, что метки экземпляра немного отличаются: экспортер узлов работает на порту 10500, что приводит к метке my.instance.com:10500, тогда как icmp не использует порт, поэтому my.instance.ком.

Есть ли способ объединить их?

Answer 1

Вы можете использовать label_replace, чтобы заменить метку instance (или добавить другую метку) именем хоста только из значения "hostname:port" в instance.

Что-то вроде:

up{job="node"}
  or on(instance)
label_replace(probe_success{job="prober"}, "instance", "$1", "instance", "(.+):.+"