У нас есть реализация Kafka около 40 тем, и каждая тема имеет 40 разделов и 3 репликации. У нас есть 7 брокеров и 40 потребителей в установке Kafka. Все узлы (для брокеров и потребителей) имеют разумную конфигурацию, размещены и в AWS, и мы вряд ли увидим пики на любой из машин. Но каким-то образом мы обнаруживаем, что отставание потребителей очень велико, несмотря на добавление 40 потребителей, чтобы обслужить чтение для вышеуказанной установки. И это несмотря на тот факт, что у нас есть только около 215 сообщений (каждое сообщение имеет размер около 2 КБ) потребления в секунду, на вышеуказанные темы. Перепробовал все возможное, но мы не смогли решить проблему отставания.
Мы также видим, что потребители большую часть времени бездействуют и время от времени потребляют сообщения. Достаточно ли 40 потребителей, чтобы справиться с описанным выше сценарием (40 тем с 40 разделами, а каждая тема содержит около 215 сообщений (430 К) запросов в секунду? Пожалуйста, помогите.