Возможная причина того, что ключ находится в нескольких разделах в kafka?

Question

Я пытаюсь уменьшить трафик к нашему постоянному уровню, объединяя обновления с теми же ключами.Обновления приходят от kafka.

Интересно то, что я обнаружил, что когда у меня несколько потребителей, у каждого потребителя есть 10% дуплексных ключей, но если у меня только 1 потребитель, дуплексные ключи увеличиваются до 40-50%.

Я подозреваю, что какой-то ключ был в нескольких разделах, и действительно после выборки я обнаружил, что непротиворечивая часть ключей оказывается в нескольких разделах.

Теперь я пытаюсьвыясните, почему это происходит.

Какова общая причина наличия ключа в нескольких разделах?

Answer 1

Добавление раздела изменит способ маршрутизации ключей. Таким образом, вы можете получить сообщения с одинаковым ключом в двух разделах. Раньше Ключ X переходил к Разделу 5, но после добавления одного или нескольких разделов он мог переходить к Разделу 3. Теперь у вас есть Ключ X в разделах 3 и 5. Вот почему вам нужно быть очень осторожным в своей стратегии разделения.