Кафка сохранит сообщение, пока не будет использовано всеми группами

Question

У меня есть тема Кафки, в которой есть несколько групп потребителей.Мне нужно, чтобы сообщения по теме не удалялись, когда истекает их длительность, если они не были прочитаны всеми группами потребителей.Можно ли установить дополнительные правила персистенции сверх продолжительности?Мне нужны сообщения, чтобы всегда оставаться в теме, если они никогда не использовались.Можно ли «обновить» тайм-аут сообщения, если оно не было использовано, а его продолжительность истекла?

Answer 1

Это невозможно в Кафке.Кафка - в отличие от многих более традиционных брокеров сообщений - не отслеживает, какое сообщение было или не было использовано.Это ответственность потребителей.И поскольку брокер не отслеживает это, он не может выполнить очистку темы на основе этого.

В некоторых случаях вы можете использовать сжатые темы , которые будут хранить последнее сообщение для каждого ключа,Благодаря этому даже потребитель, подключившийся поздно, может восстановить состояние.Но это работает только в определенных типах данных, таких как изменения состояния и т. Д.