Как потоки kafka пытаются получить один и тот же раздел для каждого kafka topi c?

Question

Если у меня есть несколько экземпляров приложения, и я присоединяюсь к двум темам, тогда каждый экземпляр должен получить один и тот же раздел, чтобы объединить данные. В то же время он должен равномерно распределять разделы по экземплярам.

Если бы я мог догадаться, я думаю, что он случайным образом запросит раздел для первой топи c, сохранит это в контексте, а затем запросит тот же раздел для всех других тем, участвующих в объединении?

Кто-нибудь может подтвердить?

Answer 1

Когда дело доходит до объединения потоков, лучше всего, чтобы основные темы были совместно разделены . Таким образом, вам действительно не нужно беспокоиться о каком-либо странном поведении.

Это означает, что, поскольку Kafka по умолчанию разделяет данные по ключам, вы должны использовать ключ, который используется в вашем условии соединения, как ключ сообщения в темах кафка. Таким образом, вместе со стратегией назначения Диапазон (partition.assignment.strategy) на стороне потребителя вы получите оптимальное соединение.

Обязательное условие - иметь одинаковое количество разделов в обеих темах .

Подробнее здесь .