Влияет ли конфигурация min.insync.replica на производительность производителя Kafka?

Question

Из документации kafka

Когда производитель устанавливает acks на "all" (или "-1"), эта конфигурация min.insync.replica указывает минимальное количество реплик, которые должны подтверждать записьчтобы запись считалась успешной.

В ней говорится, что при подтверждении минимального количества синхронных реплик запись успешна, но когда я запускаю тест производительности с min.insync.replica как 1 и 3 (дляразделы = 1 и RF = 5 в настройке брокера), производительность производителя kafka с acks='all' одинакова.

Итак, влияет ли min.insync.replica конфигурация для каждой темы на производительность производителя Kafka (работает изолированно) при acks="all"?

Answer 1

Если вы используете acks='all', ведущий ждет, пока реплики, находящиеся в синхронизации, не получат сообщение, прежде чем отправлять подтверждение или ошибку, поэтому это влияет на производительность. В случае min.insync.replica=1 производитель получает ответ обратно, как только сообщение записывается руководителю. Это должно быть быстрее, чем использовать min.insync.replica=3, так как в этом случае производитель ждет 2 реплики, чтобы получить все сообщения, прежде чем он сможет считать сообщение подтвержденным.

Ваши результаты означают, что латентность между вашими брокерами очень мала. Я считаю, что вы должны увидеть разницу, если вы начнете работу с брокерами в разных центрах обработки данных / регионах.

Answer 2

Вы заботитесь о min.insync.replica только тогда, когда речь идет о доступности вашего кластера и гарантиях надежности в Kafka. Это никак не связано с пропускной способностью. Установка min.insync.replica на> 1 гарантирует отсутствие потери данных. Пропускная способность зависит от конфигурации acks.

min.insync.replica имеет значение в основном для гарантий доступности и долговечности ваших сообщений в kafka.

Независимо от того, какое число вы установили для этого, подписчики потребляют сообщения от лидеров, чтобы убедиться, что они находятся в списке ISR, если они не дают сбой или выходят из строя.