Я использовал Kafka 0.9 и недавно перешел на Kafka 1.0, но клиент, который я использую, по-прежнему 0.9.Независимо от этого я столкнулся с проблемой, когда наши потребители иногда периодически прекращают потребление с одного или двух разделов.
У меня 5 потребителей читают из 24 разделов, это потоки JVM-потребителей, созданные из приложения, развернутого в приложении.один сервер.Часто один потребитель (поток) прекращает чтение из одного из разделов, из которых он будет потреблять.
Например: один поток потребителя будет читать из разделов 1,2,3 и 4. Он остановитсячтение из раздела 1 и в конечном итоге в создании отставания.Я должен перезапустить потребителя, чтобы начать собирать эти сообщения из этого конкретного раздела.
Я хочу понять проблему здесь.
Моя потребительская конфигурация
session.timeout.ms=150000
request.timeout.ms=300000
max.partition.fetch.bytes=153600