Kafka Разделение Ребаланс

Question

Допустим, группа потребителей, имеющая 5 потребителей, подписывается на какую-то тему, которая имеет 10 разделов.Теперь, если еще 10 разделов будут добавлены к той же теме.Это вызывает перебалансировки.Почему kafka переназначает ранее назначенные разделы, почему он не может просто назначать вновь созданные разделы среди группы потребителей.

Answer 1

В связи с тем, как в настоящее время работают присваиватели разделов Kafka, перебалансирование потребителей всегда является операцией «остановить мир», во время которой все разделы сначала освобождаются от потребителей, а затем переназначаются.

При этом существует StickyAssignor, которая пытается сохранить предыдущее назначение, тогда как по умолчанию цедент RangeAssignor не дает никаких гарантий.

Чтобы использовать StickyAssignor, установите partition.assignment.strategy на org.apache.kafka.clients.consumer.StickyAssignor в конфигурации потребителя..