Как узнать максимальное значение смещения для конкретной топики kafka c в кластере с поддержкой CDH

Question

У меня есть кластер CDH в 41 узле, а Kafka установлен в 28 узлах.

Я хочу узнать максимальное значение смещения для определенного Кафки Топи c.

Я использую приведенную ниже команду, но она не работает. (Примечание: опция использования kafka-run-class. sh не работает для CDH)

./kafka-consumer-groups.sh  \ 
--command-config /home/username/client.properties \
--group examplehost1:9092,examplehost2:9092,<many more>, examplehost41:9092 \
--topic roc-parse-7485 \
--zookeeper examplezookeperhost1:2181,examplezookeperhost2:2181,examplezookeperhost3:2181

Answer 1

Возможно, ваша проблема в том, что вы сконфигурировали своих брокеров в параметре group. --group должно быть именем группы, которую вы будете отслеживать sh.

Тем не менее, вы можете использовать GetOffsetShell - он дает вам последнее смещение для каждого раздела topi c.
Вы можете найти больше информация здесь: GetOffsetShell
Вы должны использовать его следующим образом:

bin/kafka-run-class.sh kafka.tools.GetOffsetShell  --broker-list BROKER_LISTS --partitions 
 PARTITIONS_LIST --topic TOPIC_NAME

В вашем случае:

bin/kafka-run-class.sh kafka.tools.GetOffsetShell  --broker-list rahdpapp00.tt-tim.tr:9092,rahdpapp01.tt-tim.tr:9092,rahdpapp02.tt-tim.tr:9092,rahdpapp03.tt-tim.tr:9092,rahdpapp04.tt-tim.tr:9092,rahdpapp05.tt-tim.tr:9092,rahdpapp06.tt-tim.tr:9092,rahdpapp07.tt-tim.tr:9092,rahdpdtp00.tt-tim.tr:9092,rahdpdtp01.tt-tim.tr:9092,rahdpdtp02.tt-tim.tr:9092,rahdpdtp03.tt-tim.tr:9092,rahdpdtp04.tt-tim.tr:9092,rahdpdtp05.tt-tim.tr:9092,rahdpdtp06.tt-tim.tr:9092,rahdpdtp07.tt-tim.tr:9092,rahdpdtp08.tt-tim.tr:9092,rahdpdtp09.tt-tim.tr:9092,rahdpdtp10.tt-tim.tr:9092,rahdpdtp11.tt-tim.tr:9092,rahdpdtp12.tt-tim.tr:9092,rahdpdtp13.tt-tim.tr:9092,rahdpmp00.tt-tim.tr:9092,rahdpmp01.tt-tim.tr:9092,rahdpmp02.tt-tim.tr:9092,rahdppmp00.tt-tim.tr:9092,rahdppmp01.tt-tim.tr:9092, rahdppmp02.tt-tim.tr:9092
 --partitions 2,1,0 --topic roc-parse-7485