как сжимать данные в производителях при использовании пружинной кафки

Question

В настоящее время я отправляю данные с использованием spring-kafka следующим образом:

val json = objectWriter.writeValueAsString(obj)
kafkaTemplate.send(topic, json)

Как мне указать KafkaTemplate использовать сжатие json с использованием snappy перед отправкой?

Answer 1

В apache kafka есть конфигурация производителя compression.type с допустимыми значениями

Тип сжатия для всех данных, сгенерированных производителем. По умолчанию нет (т.е. нет сжатия). Допустимые значения: none, gzip, snappy, lz4 или zstd

Таким образом, вы можете установить в настройках производителя

ProducerConfig.COMPRESSION_TYPE_CONFIG "snappy"

или использовать свойства

spring.kafka.producer.compression-type= # Compression type for all data generated by the producer.