Как следить за количеством сообщений в теме Кафки за день?

Question

У меня есть кластер Kafka с темой, которая получает тысячи сообщений в день, и я хочу посмотреть, сколько сообщений ушло в тему за дату. Я использую экспортер JMX, чтобы получить некоторые метрики, и в настоящее время я могу видеть частоту сообщений, приходящих в тему, но не знаю, как решить эту другую проблему.

Это формула, которую я использую для получения количества сообщений в секунду: sum without(instance)(rate(kafka_server_brokertopicmetrics_messagesin_total{job="kafka",topic!=""}[5m]))

Answer 1

Не уверен, какие у вас ограничения на какие инструменты вы можете и не можете использовать. Если вы хотите использовать клиент Java, вы можете создать KafkaConsumer (без group.id), а затем assign для всех разделов вашей темы. Вы заинтересованы и затем дважды используете метод offsetsForTimes (один раз для начала рассматриваемого дня и один раз для конца). Это даст вам смещения для каждого раздела в теме в эти два момента времени, и вы можете просто принять их разницу.