Проверка подписчиков на тему Кафки - PullRequest
0 голосов
/ 31 октября 2018

Я пытаюсь проверить Потребителей, которые подписались на тему под названием "foo". У меня нет информации для потребителей Kafka. Есть ли в любом случае, с помощью которого мы можем проверить количество потребителей, которые потребляют из темы "foo"?

1 Ответ

0 голосов
/ 31 октября 2018

Для членов группы потребителей вы всегда можете перечислить клиентов, используя скрипт kafka-consumer-groups, например. https://kafka.apache.org/documentation/#basic_ops_consumer_lag

Но в общем случае с потребителями, которые не являются членами CG, это не просто тривиально - в основном, каждый потребитель периодически отправляет брокеру FetchRequest, а брокеры просто отвечают.

Чрезвычайно излишним решением для этого будет захват трафика между брокерами и клиентами и анализирование полезных нагрузок (с http://kafka.apache.org/protocol.html#The_Messages_Fetch). Каждый запрос на выборку содержит client-id и может использоваться для идентификации потребителей.

...