Кафка Упорядочивание тем при расширении разделов

Question

Считайте, что ваши производители создают сообщения для пользователей системы, и порядок их важен на уровне пользователя.

Мои производители, добавляют сообщения в тему, имеющую два раздела, и я использую хеширование противuser_id, чтобы поместить все сообщения каждого пользователя в один и тот же раздел, чтобы гарантировать порядок.

Как я могу увеличить систему и добавить больше разделов в тему, сохраняя порядок сообщений?

Как Кафка обрабатывает сообщения, которые уже были созданы до разбиения?Что будет с сообщениями, которые потребляют, но не отправляют обратно в Kafka для обновления смещения?

Answer 1

1.используйте кеш сообщений (упорядоченный набор) в клиентском клиенте, сохраняйте 1 минуту (или меньше);Кафка гарантирует только порядок одного раздела, и я думаю, что производитель также не может гарантировать порядок。

2.Если вы не фиксируете смещение вручную, в следующем запросе на выборку получите такое же сообщение.во всяком случае, на клиентском клиенте вы должны обеспечить идемпотентность сообщения, даже если вы допустили смещение.