Кафка: Что такое текущее смещение или количество записей в теме?

Question

Как получить текущее смещение, или смещение по разделам, или количество записей для данной темы? Это не должно быть идеально, но я хочу приблизительное представление о том, сколько данных в теме Кафки.

Answer 1

Чтобы получить смещение для разделов темы, вы можете использовать kafka.tools.GetOffsetShell

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic your_topic_name --time -1

Если вы хотите получить последнее смещение для определенной группы, вы также можете использовать:

./bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker  --topic your_topic_name--zookeeper localhost:2181 --group your_group_id

Для подсчета записей в теме вы можете использовать всю тему (когда вы остановите потребителя, будет сообщено об общем количестве использованных сообщений). Кроме того, вы можете использовать

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell  --broker-list <broker>:  <port> --topic <topic-name> --time -1 --offsets 1 | awk -F  ":" '{sum += $3} END {print sum}'