Есть ли способ всегда сохранять последнее сообщение в теме на сервере Kafka?

Question

Из официальной документации Kafka https://kafka.apache.org/documentation/#gettingStarted есть параметры сохранения времени и размера. Есть ли способ настроить Кафку так, чтобы она всегда сохраняла последнее сообщение по теме независимо от того, как долго это будет продолжаться? В настоящее время я думаю переиздать его в конце срока действия, что не выглядит хорошей идеей.

Answer 1

См. Раздел сжатия журнала, и настройка темы cleanup.policy=compact будет хранить сообщения в течение неопределенного времени, но только сообщения с уникальными ключами.

Обратите внимание, что все сообщения будут сохраняться в открытом «сегменте», который по умолчанию равен 1 ГБ данных, тогда как любые закрытые, старые сегменты будут иметь уникальный ключСобытия.Вы можете настроить размер сегмента и «грязное соотношение» темы, чтобы сделать LogCleaner более агрессивным, но это приводит к снижению производительности.