Путаница в использовании параметра log.retention.bytes при ведении журнала Тематические данные в Apache Kafka

Question

"log.retention.bytes" - это параметр, который мы используем для хранения журналов сообщений тем, и я дал значение 1073741824.

Я сослался на документацию Kafka, где говорится, что размер, указанный в "log.retention.bytes", относится к разделу, так что это означает, что если у меня есть 20 разделов для всех тем, которые я использую, то общий размер байтов что Kafka сохранит это 20 * 1073741824 согласно документации.

Но какая мне нужна ясность?

Will Kafka retain 20*1073741824 bytes for all the topics?
                     (or)
Will Kafka retain 20*1073741824 bytes per topic?

Заранее спасибо.

Answer 1

log.retention.bytes Параметр, используемый для сохранения в журнале для каждого раздела темы. По умолчанию размер журнала не ограничен.

Эта конфигурация управляет максимальным размером, который может увеличить раздел (который состоит из сегментов журнала), прежде чем мы отбросим старые сегменты журнала, чтобы освободить пространство, если мы используем политику "delete" retention . По умолчанию нет ограничения по размеру, только ограничение по времени. Поскольку это ограничение применяется на уровне разделов, умножьте его на количество разделов, чтобы вычислить сохранение темы в байтах.

Если вы установите log.retention.bytes = 1 ГБ , Kafka запустит операцию очистки , когда размер раздела достигнет 1 ГБ. Помните, что это не размер темы. Это размер раздела.

Кафка дает вам другую возможность настроить срок хранения, т.е. log.retention.ms .. Срок хранения по умолчанию составляет семь дней. Если вы хотите изменить продолжительность, вы можете указать свое значение для журнала Конфигурация .retention.ms.

Если вы укажете обе конфигурации, очистка начнется при соблюдении любого из критериев.