Потребитель кафки застревает после превышения max.poll.interval.ms - PullRequest
Новая
       121

Потребитель кафки застревает после превышения max.poll.interval.ms

2 голосов
/ 24 июня 2019

Когда потребитель не получает сообщение в течение 5 минут (значение по умолчанию max.poll.interval.ms 300000ms), потребитель останавливается, не выходя из программы.Процесс потребителя зависает и больше не потребляет сообщения.

В журнале регистрируется следующее сообщение об ошибке 

MAXPOLL|rdkafka#consumer-1| [thrd:main]: Application maximum poll interval (300000ms) exceeded by 255ms (adjust max.poll.interval.ms for long-running message processing): leaving group

Я вижу, что ErrMaxPollExceeded определено здесь в слиянии-kafka-go, но не может найти, где это происходит.

Если возникает такая ошибка, почему программа не завершает работу?

  • Kafka v1.1.0
  • librdkafka v1.0.0
  • confluent-kafka-go (master)

Конфигурация, используемая для kafka.Consumer 

{
    "bootstrap.servers":    "private.kafka.host",
    "group.id":             "foo.bar",
    "auto.offset.reset":    "earliest",
    "enable.auto.commit":   false,
}
...