Как работает срок хранения kafka топи c? - PullRequest
0 голосов
/ 07 августа 2020



Скажи в топе c t1.
Срок хранения установлен на 2 дня.
100 сообщений прибыло в первый день
100 сообщений прибыло во второй день
Всего = 200 сообщений

Будет в третий день, удаляются целые 200 сообщений?
Или только первые 100 сообщений, а осталось еще 100?

1 Ответ

0 голосов
/ 07 августа 2020

Первые 100 сообщений будут помечены для удаления.

Однако log.segment.bytes и log.segment.delete.delay.ms также играют роль в удалении журналов

Рассмотрим следующий сценарий ios :

Случай 1:

log.retention.ms = 60000, log.segment.delete.delay.ms=60000, log.segment.bytes = 10000

, когда размер сегмента журнала нарушен. kafka отмечает сегмент для удаления только тогда, когда самая большая временная метка проходит log.retention.ms ie. 60se c в данном случае.

Случай 2:

Если log.segment.bytes большой и сегмент журнала не вращается, пока не будет передано log.retention.ms, kafka будет ждать log.segment.delete.delay.ms и удалите лог

...