Могу ли я сделать так, чтобы все потребители группы потребляли сообщения со всех разделов темы кафки?

Question

Допустим, в Кафке у меня есть 4 раздела темы «А», и у меня есть 20 потребителей группы потребителей «АС». Я не нуждаюсь ни в каком заказе, но я хочу обработать сообщения быстрее, масштабируя мои потребительские экземпляры. Обратите внимание, что все сообщения независимы и могут быть обработаны независимо.

Я посмотрел на конфигурацию потребителя partition.assignment.strategy, но не уверен, смогу ли я добиться динамического назначения потребителя на раздел в зависимости от доступности сообщения.

Answer 1

Один раздел назначается ровно одному потребителю в группе. В вашем случае у вас есть только 4 потребителя из 20, которые в настоящее время работают. Вам нужно увеличить количество разделов, если вы хотите больше назначенных потребителей.