как справиться с выздоровлением потребителей с помощью shopify sarama

Question

Я читал, что kafka предоставляет клиентскую библиотеку-потребитель, которая позволяет восстанавливать, сохраняя последнее смещение, прочитанное в zookeeper (не уверен на 100%, где оно хранится).

Можно ли сделать то же самое сПотребители Sarama?

Допустим, я читаю до смещения 550, мой потребитель сбоит в течение 5 минут, теперь мы находимся на смещении 700, но я хочу возобновить потребление со смещения 550.

это возможно без необходимости спасать государство самостоятельно?Я бы предположил, что это так, но я не понимаю, как.

Я нашел sarama.OffsetNewest/Oldest, но это не то, что я ищу ...

Answer 1

Потребители Кафки раньше хранили смещения в Zookeeper, но теперь они хранят их непосредственно в Кафке. См. раздел «Потребители» в документации Kafka.

Sarama отлично справляется с этим, и потребители Sarama по умолчанию фиксируют (сохраняют) смещения в Kafka.

Посмотрите на Sarama Потребительский пример . Первоначально этот пример начинается в конце темы, но после перезапуска он перезапускается с последней позиции.