Можно ли сжать промежуточную тему (государственный магазин), используемую KafkaStream в Kafka

Question

При использовании процессора с сохранением состояния, состояния также могут быть сохранены в kafka.

Например, темы с именами: -repartition-x и -changelog-x

Могу ли я сжать эти темы, например, с помощью gzip, и KafkaStream все еще сможетиспользовать их?

Answer 1

Как указывал Матиас, вы можете сжать сообщения, установив конфигурацию темы compression.type во внутренней конфигурации темы.См. https://kafka.apache.org/10/javadoc/org/apache/kafka/streams/state/StoreBuilder.html#withLoggingEnabled-java.util.Map-

В качестве альтернативы вы также можете реализовать собственный Serde, который выполняет сжатие.

Предпочитайте первый, поскольку он будет сжат только в темах Kafka, а не в хранилище состояний.Это позволяет избежать ненужного сжатия / распаковки во время обработки.