Проверьте, сколько событий потребляется из темы Кафки за один день?

Question

Каков наилучший способ проверить, сколько событий потребляется приложением из темы Kafka за определенный промежуток времени?

В настоящее время я делаю это:

$ ./bin/kafka-console-consumer.sh --zookeeper zookeeper:2181 --topic topic --from-beginning | grep -i '2018-05-29' > kafka.out
$ wc -l kafka.out

Некоторые проблемы:

1. Требуется какая-то временная метка, чтобы быть в полезной нагрузке (это нормально вв данном случае)
2. Он начинается с первого смещения, поэтому вам нужно подождать некоторое время, пока файл не заполнится, в зависимости от пропускной способности вашей темы

Любые лучшие способы сделать это? Желательно, чтобы командная строка использовалась для специального анализа.

Я использую Kafka 0.10, но любые ответы на новые версии также было бы полезно знать.

Спасибо

Answer 1

Неясно, хотите ли вы найти эту информацию со стороны брокера или от вашего потребителя.

Если со стороны потребителя все в порядке, вы можете проверить следующую метрику:

kafka.consumer:type=consumer-fetch-manager-metrics,client-id="{client-id}"

Имеет атрибут records-consumed-total, который указывает, сколько записей получил экземпляр потребителя.