Должны ли потребители Кафки начинаться раньше производителей?

Question

Когда я получаю сообщение производителя консоли kafka, создаю несколько сообщений и затем запускаю потребителя, я не получаю сообщения.

Однако я получаю сообщение, созданное производителем после запуска потребителя. Должны ли потребители Kafka быть запущены раньше производителей?

- кажется, с начала все сообщения, включая те, которые потребляются.

Пожалуйста, помогите мне с этим как на уровне консоли, так и на примере java-клиента, чтобы сначала запустить производителя и потреблять при запуске потребителя.

Answer 1

Кафка хранит сообщения в течение настраиваемого промежутка времени. По умолчанию это неделя. Потребителям не нужно быть «доступными» для получения сообщений, но им нужно знать, с чего начать чтение с

Потребитель консоли имеет опцию по умолчанию для просмотра последнего смещения для всех разделов. Поэтому, если вы не производите данные активно, вы не видите ничего как потребителя. Вы можете указать флаг group для потребителя консоли или Java-клиента, и это то, что отслеживает, какие смещения считываются в протоколе Kafka и откуда возобновится запрос на чтение, если вы остановили этого потребителя в группе

В противном случае, я думаю, что вы можете дать только смещение вместе с одним разделом для потребления от