Как составить список групп потребителей Kafka, использующих python

Question

Я хочу получить список групп потребителей Kafka с python, но не смог.

Я использую zookeeper python client (kazoo), но список групп потребителей пуст, потому что этот метод для старого потребителя, а мы не используем старого потребителя.

Как мне получить список групп потребителей с кодом Python?

./kafka-consumer-groups.sh  -bootstrap-server localhost:9092 -list

Answer 1

Вы можете легко перечислить группы потребителей с помощью kafka-python .

Просто отправьте ListGroupsRequest любому из брокеров в вашем кластере.

Например:

from kafka import BrokerConnection
from kafka.protocol.admin import *
import socket

bc = BrokerConnection('localhost', 9092, socket.AF_INET)
bc.connect_blocking()

list_groups_request = ListGroupsRequest_v1()

future = bc.send(list_groups_request)
while not future.is_done:
    for resp, f in bc.recv():
        f.success(resp)

for group in future.value.groups:
    print(group)

Answer 2

KIP-222 был недавно представлен, чтобы позволить клиентам Java получать все группы потребителей. Возможно, потребуется больше времени, чтобы клиент librdkafka или python поддержал это. Подробности в этом выпуске .