Как бороться с «Сбросом смещения» состояния Кафки? - PullRequest
Новая
       7

Как бороться с «Сбросом смещения» состояния Кафки?

0 голосов
/ 03 октября 2019

У меня есть потребитель Kafka со следующими параметрами: 

bootstrap.servers=<server.list> 
group.id=provider.consumer
auto.offset.reset=earliest 
enable.auto.commit=false
max.poll.interval.ms=10000 
isolation.level=read_committed
max.poll.records=100000

Когда я начал своего потребителя, я получил это сообщение

[org.apache.kafka.clients.consumer.internals.Fetcher.Thread-5(583)] [Consumer clientId=consumer-2, groupId=conductor.consumer] Resetting offset for partition mytopic-0 to offset 0.

Через несколько минут будет напечатано следующее:

[org.apache.kafka.clients.FetchSessionHandler.Thread-5(381)] [Consumer clientId=consumer-2, groupId=conductor.consumer] Node 13 was unable to process the fetch request with (sessionId=2132852145, epoch=127): INVALID_FETCH_SESSION_EPOCH.

На этом этапе мое приложение останавливается. Мой кластер имеет Kafka version 2.2.1.

Когда я выбрасываю mytopic и сбрасываю данные, все идет хорошо. Но я не могу сделать это в производстве. Как я могу решить эти проблемы?

...