Как подойти к метрикам и оповещению о произведенных и потребленных сообщениях в графане

Question

У меня проблема с созданием метрик и последующими триггерными оповещениями на основе этой метрики c. У меня есть два источника данных, оба являются эластичным поиском. Один содержит документы (журналы из службы) о том, что сообщение было отправлено kafka, второй содержит документы (также журналы из службы) о том, что сообщение было использовано. Чего я хочу добиться, так это активировать оповещение, если отношение произведенных к потребляемым сообщениям падает ниже 1.

К сожалению, невозможно использовать prometheus по двум причинам: 1) сброс счетчика происходит при каждом перезапуске службы. 2) вторая служба не имеет (и не будет иметь в разумные сроки) интеграцию с Prometheus.

Вопрос в том, как подойти к метрикам и оповещениям на основе этих источников данных? Является ли это возможным? Может быть, есть другой способ достичь моей цели?

Answer 1

Вопрос несколько обобщенный c (имеется в виду, что отображение или код, как правило, не предоставляется), поэтому я предоставлю подход.

Вы можете использовать watcher при агрегации, которую вы создадите. Относительно просто создать процент потребления / продукта, и на основе этого процента вы можете вызвать предупреждение через наблюдателя.

Посмотрите этот урок (официальный каналasticsearch) о том, как это сделать. Кроме того, ознакомьтесь с руководствами для вашей указанной c версииasticsearch. С 5.x до 7.x настройка оповещений была значительно улучшена (это означает, что для 7.x вы можете сделать это через пользовательский интерфейс kibana, но для 5.x вам, вероятно, потребуется добавить предупреждение через индексирование json в соответствующих индексах .watcher)

Я не использовал графану, но я верю, что тот же подход может быть применен. Вам понадобится агрегация, как указано выше, а затем вы добавите предупреждение https://grafana.com/docs/grafana/latest/alerting/rules/