В моей компании мы запускаем Kafka версии 0.10.1.1 в производстве. Я заметил странное поведение со стороны несвежих потребителей и хотел помочь. Так что есть некоторые идентификаторы групп потребителей, которые больше не используются, но kafka, похоже, считает, что группа восстанавливает баланс.
root@kafka32:/opt/kafka/bin# ./kafka-consumer-groups.sh --describe --group consumer-abcd-defg-ads-9ffbcd955-8fdwn --bootstrap-server kafka1:9092
Consumer group `consumer-abcd-defg-ads-9ffbcd955-8fdwn` is rebalancing.
Я вижу сообщение, подобное приведенному выше. Начиная с версии kafka, я нахожусь в группах потребителей магазинов в _consumer_offsets (а не в ZK), я не могу удалить эти устаревшие группы потребителей.
1) Меня это должно волновать? У нас могут быть эфемерные группы потребителей в нашей системе, и могут быть устаревшие группы потребителей. Я беспокоюсь, что это может привести к взрыву _consumer_offsets? Я видел некоторые сообщения об ошибках в сети https://github.com/apache/kafka/pull/1622, поэтому я не уверен, является ли это проблемой или просто проблемой ./kafka-consumer-groups.sh.
2) Есть ли способ, которым я могу очистить эти группы потребителей?