Получить список KafkaConsumers из групп потребителей

Question

Я могу создать KafkaConsumer через KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props).

Я также могу получить список групп потребителей через ListConsumerGroupsResult list = AdminClient.listConsumerGroups().

Есть ли способ получить KafkaConsumer из ListConsumerGroupsResult?Из поиска через мою IDE и онлайн я не нашел такого способа, но мне было интересно, если бы кто-то в SO-сообществе сделал это.

Answer 1

Если вы не хотите напрямую запрашивать ZooKeeper, есть хороший графический интерфейс, который вы можете использовать для изучения потребителей, тем, сообщений и т. Д. Для кластера Kafka:

https://github.com/HomeAdvisor/Kafdrop/

Имеет графический интерфейс и API Restful.

Answer 2

Вы не можете получить KafkaConsumer из результатов групп потребителей.KafkaConsumer - это то, что вы создаете для подключения к Kafka и использования данных.

Я предполагаю, что вы хотите что-то вроде списка активных KafkaConsumer s в любой конкретный момент времени?В этом случае вам нужно будет просмотреть метаданные, хранящиеся в Zookeeper, используя что-то вроде zkCli.sh утилиты от zookeeper или клиента Java Zookeeper, такого как Curator.

Вот хороший справочник данных, которые Kafka хранит в Zookeeper, с официальных вики-страниц Kafka:

https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper