Как настроить сжатие сообщений Kafka Streams? - PullRequest
Новая
       21

Как настроить сжатие сообщений Kafka Streams?

0 голосов
/ 28 января 2019

Используя Kafka Streams, мы не смогли определить конфигурацию, необходимую для сжатия сообщений, записанных в теме приемника, после их обработки.

С другой стороны, используя классический Kafka Producer, сжатие легко достигается путем установки конфигурации «compress.type» в свойствах KafkaProducer

ОднакоКажется, что нет никакого документированного примера того, как Kafka Streams сжимает обработанные сообщения.

Что касается этого времени (начало 2019 г.), есть ли способ вообще использовать сжатие с Kafka Streams?

1 Ответ

0 голосов
/ 30 января 2019

Вы можете указать параметры для внутреннего производителя в StreamConfig, как показано ниже: 

final Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "your-streams-app-id");
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "lz4");

Выходные темы будут сжаты с использованием алгоритма LZ4.

См. https://docs.confluent.io/current/streams/developer-guide/config-streams.html#kafka-consumers-producer-and-admin-client-configuration-parameters для более подробной информации.

...