Вопрос производительности кафки

Question

У меня есть 6 разделов по какой-то теме и я создал группу потребителей с 6 потребителями.Итак, здесь каждый потребитель читает данные с 1 раздела.Здесь проблема заключается в том, что один раздел имеет больше данных, а другие разделы имеют минимальное количество данных из-за асимметрии данных в одном разделе, когда один потребитель работает медленно.Как справиться с этой ситуацией.

Answer 1

Вам необходимо знать, какие ключи вы отправляете в тему.Если ключи нулевые, то это не должно быть возможно.

Если есть распределение ненулевых ключей, которое наклонено к нескольким значениям, то эти разделы будут больше.

Вы можете написать свой собственный интерфейс Partitioner, в противном случае.