Потребительская проблема Кафки (получение с последним смещением)

Question

Когда мой производитель и потребитель слушают одновременно, я вижу сообщение. Когда мой потребитель не работает и отправляет сообщения от производителя, я не вижу его от потребителя, когда я появляюсь. Но когда я даю от начала настройки, я вижу сообщение. Пожалуйста, помогите.

Answer 1

Я не вижу этого у потребителя, когда я поднимаюсь

Если вы запустите того же потребителя с тем же group.id, он будет сброшен с ранее сохраненных разделов, если предположить, что ваши смещения потребителя были зафиксированы ранее.
Поведение по умолчанию для новых групп потребителей состоит в том, чтобы начинать с самого последнего смещения, и вам нужно установить auto.offset.reset=earliest для запуска с самого начала. Кроме того, смещения автоматически фиксируются по умолчанию, и рекомендуется отключить это, чтобы гарантировать, что каждое сообщение фактически обрабатывается хотя бы один раз, и выполнять фиксацию смещения вручную. В KafkaConsumer JavaDoc есть много хорошей документации по этому вопросу.

Если вы используете console-consumer, то по умолчанию всегда используется самое последнее смещение до добавления --from-beginning, но вы также можете добавить --group <name>, чтобы присоединиться к группе потребителей или возобновить ее.