Команда описания группы потребителей Kafka показывает смещение для некоторых разделов как '-'

Question

У меня есть тема с 50 разделами и группа потребителей, слушающая эту тему. Я использую приведенную ниже команду для просмотра смещений

./kafka-consumer-groups.sh --bootstrap-server <Broker_IP>:<Broker port> --describe --group <consumer-group name> | grep <topic name>

Когда я публикую сообщение, допустим, мое текущее смещение равно 100. Мое приложение читает это сообщение. Но через некоторое время бездействия, когда я использую ту же команду, текущее смещение меняется на '-', а через некоторое время, когда используется та же команда, детали не отображаются.

Может ли этопотенциально может привести к потере сообщения в kafka?

Answer 1

Обычно это означает, что группа восстанавливает баланс и не читает данные.

Потеря данных (т.е. не обработка их) или чтение дублированных сообщений зависит от настроек пользовательских приложений, таких как auto.reset.offset, и от того, как часто вы совершаете смещения, если они вообще есть.

Со временем данные в теме могут падать в зависимости от настроек хранения, и в этом случае вы потеряете данные, так как Kafka удалит их.