У меня есть тема Kafka, которая называется retention, и ниже приведены настройки сервера, связанные с сохранением:
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=3600000 (~ 1 hour)
log.cleaner.enable=true
А ниже приведен конкретный конфиг темы:
retention.ms=2592000000,retention.bytes=3298534883328
где retention.ms ~ 30d и retention.bytes = ~ 3,29 ТБ
Я недавно настроил retention.ms и retention.bytes, используя приведенную ниже команду (14 января 2019 г.), используя следующие команды:
./bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic retentions --config retention.bytes=219902325555
Здесь, похоже, конфигурация для retntion.bytes работает, а retention.ms не работает. Вот доказательства, которые я мог бы собрать:
cd log_dir/retentions-0/
ls -lrt 00000000000000000000.*
-rw-r--r-- 1 root root 294387381 Nov 26 22:37 00000000000000000000.log
-rw-r--r-- 1 root root 3912 Jan 14 18:06 00000000000000000000.index
-rw-r--r-- 1 root root 5868 Jan 14 18:06 00000000000000000000.timeindex
Если мы посмотрим на журналы старых сегментов, им почти 2 месяца.
Кто-нибудь может сказать, какая из этих двух конфигураций вступит в силу для приоритета? Или обе могут работать, в зависимости от того, что превышает установленный порог.
В моих предположениях обе конфигурации должны работать совместно. Пожалуйста, дайте мне знать, если это не так.