Количество новых сообщений, полученных в теме кафки за единицу времени

Question

Я пытаюсь составить график количества новых сообщений, полученных за единицу времени (минуты или часы) в заданной теме Кафки.

Я видел сообщения о том, как узнать количество текущих сообщений в теме. В качестве потенциального решения я мог бы запрашивать этот номер в каждом интервале времени, однако это не учитывает сообщения с истекшим сроком действия (из-за времени хранения).

Есть ли способ получить количество новых сообщений, полученных в теме кафки за единицу времени?

Answer 1

В метриках JMX вы можете найти kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec, который указывает частоту входящих сообщений. Вы можете сохранить его в Prometheus или другой базе данных временных рядов и запросить его по времени.