Кафка - Новая тема или Увеличение количества разделов

Question

Скажите, у меня есть тема кафки с 10 разделами.Когда скорость передачи данных увеличивается, я могу увеличить разделы, чтобы ускорить мою логику обработки.

Но я сомневаюсь, что, хорошо ли увеличение разделов или я могу пойти на разделение темы (то есть, основываясь на логике моего приложения, некоторые данные будут идти по теме 1, а некоторые - по теме 2. Так чтосделав это, я могу разделить скорость передачи данных на две темы)

Влияет ли выбор новой темы вместо увеличения или увеличения разделов вместо создания новой темы на производительность кластера kafka?

Какое решение будет лучшим?

Answer 1

Это зависит!

Обычно рекомендуется слегка перебивать разделы, которые могут увеличить пропускную способность, поэтому вам не нужно добавлять разделы, когда это происходит.

Основнойпричина в том, что если вы используете сообщения с ключами, добавление разделов изменит соответствия разделов ключей.Таким образом, после добавления разделов сообщения с ключом не попадут в тот же раздел, что и раньше.Если вам необходимо заказать ключ, это может быть проблематично.

Добавление разделов обычно проще, поскольку потребителям и производителям обновления не нужны.Вы просто сможете добавить потребителей в масштабе.Вы также держите все события вместе и должны заботиться об одной теме.В зависимости от размера вашего кластера, с только 10 разделами у вас, вероятно, все еще есть много возможностей для добавления разделов.С точки зрения Кафки, 10 разделов довольно малы, и вы можете легко иметь 50 или даже больше.

С другой стороны, при создании новых тем клиенты должны будут обновляться, чтобы использовать их.Тем не менее, это может быть решением, если со временем вы начнете получать больше типов событий и захотите переупорядочить их по нескольким темам.