Кафка: автоматическая очистка данных для каждого 1 ГБ

Question

Какое свойство я должен установить для автоматического удаления или автоматической очистки данных темы в брокере Kafka.

Я пытался редактировать следующие свойства, но это не имело никакого значения.

log.retention.ms
log.retention.byte
log.retention.check.interval.ms

Но, тем не менее, при достижении 1 ГБ сброс не удаляется. Итак, ниже прокомментированные свойства вместе с выше

log.flush.interval.messages
log.flush.interval.ms

Сколько бы я ни увеличивал значения этих свойств, он удаляет данные примерно на 180 МБ максимум.

Как автоматически удалять данные, когда данные по определенной теме достигают 1 ГБ.

Answer 1

log.retention.ms и log.retention.bytes - это свойства посредника, который используется в качестве значения по умолчанию при создании темы. При изменении конфигурации текущей темы с помощью файла kafka-topics.sh необходимо указать свойство уровня темы.

Свойство уровня темы для времени хранения журнала: retention.ms и retention.bytes .

Попробуйте следующую команду, чтобы установить время хранения:

bin / kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config retention.ms = 86400000

Попробуйте команду ниже, чтобы установить размер хранения:

bin / kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config retention.bytes = 1048576

Команда для проверки, установлены ли свойства для темы:

bin / kafka-topics.sh - описать --zookeeper zk.yoursite.com --topic as-access

Тогда вы увидите что-то вроде ниже.

Тема: as-access PartitionCount: 3 ReplicationFactor: 3 Конфиги: retention.ms = 86400000