Есть ли возможность удалить кафку темы сообщения старше одного часа в теме

Question

Есть ли возможность удалить кафку более старых сообщений, чем один час в теме. Нужны только последние один час сообщения в теме. Производитель Kafka будет принимать сообщения каждую минуту в тему. Мне нужно использовать данные за последний час из текущей темы. 1. есть ли возможность удалить сообщение, которое старше одного часа в теме, необходимо хранить данные менее одного часа в этой теме 2. Есть ли возможность прочитать данные за последний час из темы, в теме полно данных за один день

Answer 1

Вы можете установить retention.ms для одной темы или вы можете установить log.retention.ms для брокеров, чтобы переопределить сохранение по умолчанию в течение недели.

В противном случае после Kafka 0.10.2 ваши потребители могуттакже стремитесь к смещению на отметку времени, поэтому вам придется искать, где потреблять, исходя из текущего времени, минус час