Как использовать сообщения от начала до определенного смещения

Question

У меня есть карта между номером раздела и номером смещения данной темы в kafka. Я хотел бы потреблять все сообщения, начиная с начала и до тех конкретных сопоставлений разделов / смещений, используя golang. В двух словах я хотел бы знать, возможно ли принимать сообщения в kafka от начала до определенного смещения.

Я хотел бы знать, существуют ли встроенные инструменты или библиотеки, которые могут помочь мне сделатьпрежде чем я начну что-то реализовывать.

Answer 1

Я публикую это как ответ, потому что я на 99,9% убежден, что это правильно - вы не можете указать конечное смещение для Потребителя. Consumer API поддерживает OOTB:

1. Начать с начала.
2. Начать с любой произвольной позиции.
3. Начало в конце.

Обратите внимание, что нет возможности указать диапазоны, но вы можете легко сделать это самостоятельно: просто начните с начала и остановитесь, когда вы прочитали любое числосообщения, которые вам нужны (например, ваше окончательное смещение).

См. Раздел Controlling Consumer Position в Официальном API