Storm Kafka Spout имеет очень высокую задержку - PullRequest
0 голосов
/ 03 октября 2018

Я создаю Spring-приложение в Java 9 с Apache Storm 1.1.2 и Kafka 0.11

Я заметил, что при высокой нагрузке (2500 сообщений в секунду) излив кафки очень высоклаг.Излив Kafka имеет подсказку о параллелизме 3. Задержка почти равна установленному смещению излива.

Эта задержка устанавливает ограничение на максимальное количество сообщений, которое топология может принимать за секунду, что невелико.Кто-нибудь знает решение для этого?

ОБНОВЛЕНИЕ: Я также заметил, что даже с 10 работниками и подсказкой о параллелизме 4, нагрузка не делится между различными исполнителями носика кафки из того, что я могу сказать вUI.В теме 8 разделов

1 Ответ

0 голосов
/ 04 октября 2018
...