Почему моя тема кафки не сбрасывается на 0?

Question

Когда я описываю одну из моих тем, я получаю этот статус:

➜  local-kafka_2.12-2.0.0 bin/kafka-consumer-groups.sh --bootstrap-server myip:1025 --group mygroup --describe
Consumer group 'mygroup' has no active members.

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
mytopic         0          858             858             0               -               -               -

, когда я пытаюсь сбросить его до самого раннего, я получаю этот статус:

➜  local-kafka_2.12-2.0.0 bin/kafka-consumer-groups.sh --bootstrap-server myip:1025 --group mygroup --topic mytopic --reset-offsets --to-earliest --execute

TOPIC                          PARTITION  NEW-OFFSET
mytopic                        0          494

Я быожидали, что новое смещение будет 0, а не 494.

Вопрос

1 - В выводе describe текущее смещение отображается как 858, однако при сбрасывании на самое раннее отображается как 494.Так что будет лаг 364.У меня вопрос, что случилось с оставшимися 494 (858-364) смещениями?Они ушли из-за какой-то настройки конфигурации для этой темы?Мой retention.ms установлен на 1 неделю
2 - Если записи 494 пропали, есть ли способ как-нибудь их восстановить?

Answer 1

Если у вас есть доступ к каталогу данных ваших кластеров kafka, вы можете просмотреть данные, которые там присутствуют, с помощью команды kafka-run-class.bat kafka.tools.DumpLogSegments.

Для получения дополнительной информации см., Например, здесь: https://medium.com/@durgaswaroop/a-practical-introduction-to-kafka-storage-internals-d5b544f6925f

Ваши данные могли быть удалены либо из-за времени хранения журнала, либо из-за ограничения размера журналов (свойство конфигурации log.retention.bytes),