Кафка: смещение последовательности

Question

Будет ли каждому опубликованному сообщению (при условии, что сообщения сжаты) присвоено уникальное смещение # и оно останется последовательным и инкрементным в пределах данного раздела?Кроме того, возможно ли, что последовательность смещения # может сбрасываться сама, то есть может начинаться с 0?

Answer 1

Официальная документация совершенно ясно об этом:

Для каждой темы в кластере Kafka ведется секционированный журнал, который выглядит следующим образом:

Каждый раздел представляет собой упорядоченную, неизменяемую последовательность записей, которая постоянно добавляется - структурированный журнал фиксации.Каждым записям в разделах присваивается последовательный идентификационный номер, называемый смещением, который однозначно идентифицирует каждую запись в разделе.

Потребители могут читать с определенных смещений даже с самого начала:

Чтобы сбросить смещения для определенной группы потребителей, вы можете использовать следующее:

kafka-consumer-groups --bootstrap-server localhost:9092 --group my-group --reset-offsets --to-earliest --all-topics --execute