Кафка: Можем ли мы иметь потребителей, подписывающихся на одну и ту же топи c, но иметь разные конвейеры внутри топи c?

Question

У меня есть 200 потребителей Kafka, которые могут выполнить любое из этих действий: 1. Они могут подписаться на 200 различных тем и будут использовать конфиденциальные сообщения. 2. Все 200 потребителей могут подписаться на одну топи c.

. Проблема: 1. Это хороший дизайн для создания 200 или большого количества тем? 2. Во втором сценарии, как мы добьемся реализации, когда сообщения, публикуемые в topi c, должны отправляться конкретному потребителю только на основе какого-либо параметра.

Answer 1

1. Это хороший дизайн для создания 200 или большого количества тем?

Кафка использует реплицированные файлы для тем и так как использует номер передачи сообщений на основе смещения тем не оказывает прямого влияния на производительность, поэтому это не проблема.

Во втором сценарии, как мы добьемся реализации, когда сообщения, публикуемые в топи c, должны отправляться конкретному потребителю только на основе какого-либо параметра.

Вы можете не делайте этого на основе параметра, если вам нужно, чтобы сообщение было доставлено только одному потребителю, вам нужно сгруппировать всех потребителей в одну группу потребителей и заставить всю группу прослушивать topi c. Таким образом, сообщение будет обрабатываться только одним потребителем в этой группе потребителей.

Если вам нужно последовательное (упорядоченное) потребление сообщений, то вам нужно создать свой Kafka topi c только с 1 разделом.