Механизм опроса Кафки

Question

Сообщения Kafka, которые были отправлены производителем, продолжают показываться конечным пользователем после определенного интервала

Я пытался использовать сообщение из моей темы Kafka, на этот раз я столкнулся с проблемой, которую я объяснил выше.Я полагаю, это происходит из-за повторного набора после 5 минут (который является интервалом опроса по умолчанию).Правильно ли мое понимание?

Мой ожидаемый результат - сообщение не должно обрабатываться снова и снова.Это должно быть обработано только один раз.Как мне этого добиться?

Answer 1

Ваша конфигурация кажется enable.auto.commit: false и auto.commit.interval.ms: некоторое значение

Вторая конфигурация вызывает появление сообщений через определенный интервал (некоторое значение). То же сообщение появляется на стороне потребителя для обработки, поскольку сообщение не было успешно обработано в первый раз. Если информация о последнем смещении недоступна для zookeeper или брокера и для auto.offset.reset установлено значение наименьшее (или самое раннее) , тогда обработка начнется с 0-го смещения. Измените auto.offset.reset на наибольший (или последний) , если вы не хотите повторно обрабатывать то же сообщение.