производитель парадигмы нескольких подписчиков

Question

У нас есть диспетчер, который получает сообщение, а затем «распределяет» его по нескольким нисходящим средам.
Каждый набор нисходящей среды должен использовать это сообщение.
Достаточно ли будет пометить другой наборсреды с различным group.ID, чтобы заставить все среды потреблять одно и то же сообщение (1 производитель - широковещательная рассылка с несколькими подписчиками).
Если произойдет сбой конкретной среды (группы), можно ли будет воспроизвести сообщения только определенной группе?

Answer 1

Да, так работает Кафка.Пока хранилище для темы настроено так, любая конкретная группа потребителей может повторно потреблять данные из любого смещения в журнале, будь то начало или только последняя точка, из которой оно успешно прочитало.На всех остальных потребителей это не влияет.

Answer 2

Да, как правило, вы добиваетесь такого потока данных.

Если у вас есть несколько групп потребителей, подписанных на одни и те же темы, все они будут использовать все сообщения.Как вы сказали, вы используете конфигурацию group.id для идентификации каждой группы потребителей.

Кроме того, каждая группа потребителей отслеживает свои собственные смещения.Таким образом, вы можете легко включить воспроизведение определенной группы в журнал, не влияя на другие группы.Это может быть достигнуто, например, с помощью инструмента kafka-consumer-groups.sh с одним из параметров сброса.