Как найти тему для потребителя и идентификатор группы из темы __consumer_offsets в kafka?

Question

Я пытаюсь разобрать логи из темы __consumer_offsets в kafka.Идея состоит в том, чтобы найти идентификатор группы, тему и получателя, который создает нагрузку в моем кластере kafka.

Команда, которую я выполняю, ниже

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

Теперь вывод выглядит так

[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,4]::[OffsetMetadata[8646,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]
[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,6]::[OffsetMetadata[8639,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]

Может кто-нибудь помочь мне разобраться в этом журнале или указать мне документацию.Заранее спасибо.

Answer 1

[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,6]::[OffsetMetadata[8639,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]

это означает, что группа потребителей с именем dedupeconsumergroup смещение на чтение / принятие 8639 на разделе 6 в теме daas.dedupe.avrosyslog.incoming

, какой конкретный потребитель читает определенное смещение, вероятно, немного сложнее найти, поскольку вам нужно было бы знать, какой раздел был назначен тому или иному потребителю в данный момент времени - он может изменяться со временем из-заперебалансировать.