Мы настроили трехузловой кластер kafka и создали тему с коэффициентом репликации 3. Мы создаем данные для этого кластера, и мы видим, что некоторые сообщения занимают более 50 мс.Анализируя далее, мы обнаружили, что получение ответа от брокера задерживается, поскольку мы установили файл provider.acks для всех.
При увеличении num.replica.fetchers с 1 до 4 мы видим некоторое улучшение.Но там также для каждых 150 сообщений, 1 сообщение превышает 50 мс, и мы используем синхронного производителя.Но когда num.replica.fetchers равно 1, для каждых 100 сообщений 1 сообщение превышает 50 мс.
В минуту мы генерируем 500 000 сообщений в наш кластер.
Конфигурация нашей машины:
RAM: 8 GB
Hard disk type: HDD
No. of processors: 32
Оптимизировано ли это время производителя кафки?Нужно ли нам настраивать какое-либо свойство, чтобы получить минимальную задержку.
Кроме того, какое минимальное время лучше всего производить, если у нас producer.acks как у всех.