Kafka Consumer Rebalancing: обработка сообщений в полете прервана - PullRequest
0 голосов
/ 06 декабря 2018

Поэтому, когда наше приложение Scales-Up / Scales-Down перегруппировывается в Kafka Consumer Group.

Например, когда приложение Scales-Down, один из потребителей уничтожается, а разделы, которые были ранее назначеныэтот потребитель распределяется между другими потребителями в группе. Когда происходит этот процесс, в журналах приложений появляются ошибки, говорящие о том, что обработка сообщения в полете была прервана

Я знаю, что все группы потребителей приостановлены (то есть)читает какие-либо новые сообщения, пока группа потребителей перебалансируется.Но что происходит с сообщениями, которые были прочитаны потребителями перед приостановкой?Можем ли мы изящно обрабатывать сообщения, которые в настоящее время обрабатываются?

Заранее спасибо!

1 Ответ

0 голосов
/ 07 декабря 2018

Сообщения, которые были прочитаны, но не зафиксированы, будут проигнорированы, когда произойдет перебалансировка потребителя. После того, как перебалансировка потребителя завершится, потребители возобновят потребление после последнего принятого смещения, поэтому вы не потеряете ни одно сообщение.

...