группа потребителей kafka max.poll.interval.ms не работает - PullRequest
0 голосов
/ 01 марта 2019

Я пытаюсь установить свойство группы потребителей таким образом, чтобы оно могло потреблять только одно сообщение в минуту .

customer.properties

group.id=test_group
max.poll.interval.ms=60000
session.timeout.ms=60000
max.poll.records=1

Производитель

kafka-console-producer.sh --broker-list localhost:6667 --security-protocol SASL_PLAINTEXT --topic cdc_poc 

Потребитель

kafka-console-consumer.sh --bootstrap-server d9lcwphd1e1:6667 --security-protocol SASL_PLAINTEXT --consumer.config ~/kafka/consumer.properties --topic diyotta_cdc_poc

Проблема Не вижу ожидания для приема сообщений

1 Ответ

0 голосов
/ 01 марта 2019

max.poll.interval.ms Конфигурация не предназначена для удержания потребителя для задержки, при использовании управления группами, если потребитель не смог опросить в течение 60000 мс. Zookeeper предполагает, что потребитель умер и вызывает перебалансировку.*

Что означает после опроса, если поток потребителя занимает более 60000 мс для последующего опроса, тогда потребитель считается сбойным, и группа будет перебалансирована

Максимальная задержка между вызовами poll () при использованииуправление группами потребителей.Это накладывает верхнюю границу на количество времени, в течение которого потребитель может бездействовать до получения большего количества записей.Если poll () не вызывается до истечения этого тайм-аута, то потребитель считается сбойным, и группа будет перебалансирована, чтобы переназначить разделы другому участнику.

Если сервер kafka имеетданные затем потребитель будет опрашивать записи впоследствии без какой-либо задержки

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...