В Кафке каждый потребитель принадлежит к группе потребителей. Когда производитель Kafka отправляет сообщение определенной группе, записи раздела доставляются одному потребителю.
Если количество разделов превышает количество потребителей, то некоторые потребители будут использовать данные из более чем одного раздела. С другой стороны, если число потребителей больше, чем количество разделов, некоторые потребители будут неактивны, так как они не получат данных.
Вы не можете иметь несколько потребителей - в одной и той же группе потребителей - данные из одного раздела. Следовательно, чтобы использовать данные из одного и того же раздела с использованием N потребителей, вам также необходимо создать N различных групп потребителей.
Обратите внимание, что разбиение увеличивает параллелизм внутри кластера Kafka. Если вы создадите тысячи потребителей для потребления данных только из одного раздела, я подозреваю, что вы потеряете некоторый уровень параллелизма.
Подписаться против Назначить
Подписаться использует группу потребителей; Координатор Kafka отправляет назначение потребителю, и разделы тем, на которые он подписан, будут распределены между экземплярами в этой группе.
Назначить принудительное назначение к списку тем.