Активный потребитель не обнаружен у зоопарка - PullRequest
Новая
       85

Активный потребитель не обнаружен у зоопарка

0 голосов
/ 11 ноября 2019

Я новичок в apache kafka и настроил kafka-брокера с zookeeper поверх моего самостоятельно развернутого кластера kubernetes. (2 отдельных модуля)

Нет заметных журналов ошибок, и все отлично работает, включая:

  • создание тем
  • создание сообщений через bin / kafka-console -ufacture.sh
  • подписка (потребление) сообщений через bin / kafka-console-consumer.sh
  • Список тем в CLI zookeeper (ls / brokers / ids)

За исключением:

  • списка активных потребителей в инструменте мониторинга смещения kafka

, когда я пытаюсь перечислить активных потребителей в CLI zookeeper или просмотреть активных потребителей винструмент мониторинга, я также получаю пустые результаты (пока у меня запущен потребительский сеанс, описанный выше)

Интеграция между zookeeper и брокером kafka, похоже, работает find, поскольку при попытке: 

[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics
[topic1, topic2] 
[zk: localhost:2181(CONNECTED) 2] ls /consumers
[]

Я что-то упустил ??

1 Ответ

0 голосов
/ 11 ноября 2019

Данные о потребителях больше не хранятся в Zookeeper (начиная с 0.9). Данные группы потребителей теперь хранятся непосредственно в Kafka.

Чтобы проверить состояние групп потребителей, вам следует использовать инструмент kafka-consumer-groups.sh. Например: 

./bin/kafka-consumer-groups.sh --bootstrap-server [HOST:PORT] --group [GROUP]

Обратите внимание, что видны только потребители, которые являются частью группы, которая фиксирует смещения. По умолчанию kafka-console-consumer.sh нет. Вам нужно указать --group [GROUP], чтобы включить его.

...