Потребитель Кафки - посчитайте количество смещений от начала до конца

Question

Мне удалось получить данные формы от начала до конца определенной темы Кафки, используя параметр потребления (самый ранний). Ответы: смещение 180, MSG ABC .... ,смещение 12000, msg klp ...

Я хочу посчитать количество отсчетов от определенного смещения до последнего смещения, чтобы узнать, сколько нового сообщения было вставлено. есть ли у потребителя kafka такой параметр для использования, или мне нужно получить для этого отличные коды?

сценарий будет такой: начать использовать тему kafka, смещение может составлять 180-12000 после сообщения 100 msgs в тему kafka. смещение теперь составляет 180-12099, по какой-то причине 1 msg не удалось опубликовать. мне нужны коды, чтобы убедиться, что общее количество равно 100, если 99 не удалось.

Answer 1

Вместо того, чтобы проверять, присутствует ли правильное количество смещений, вы должны проверить коды возврата вашего производителя для отправленных вами сообщений. Большинство производителей кафки возвращают смещение для сообщения, когда оно было подтверждено брокерами кафки.