Как обрабатывать сжатые данные с помощью консоли производителя Kafka

Question

У меня есть файл с данными JSON.Как я могу отправить данные в тему с помощью консоли производителя в сжатом формате (gzip)?Пожалуйста, обратите внимание - я могу сделать это, написав собственного производителя на Java.Мой вопрос конкретно о производителе приставок.

Answer 1

Если вы наберете kafka-console-producer самостоятельно, вы получите полный список опций.Вы увидите, что он включает в себя следующее ...

--compression-codec [String:             The compression codec: either 'none',  
  compression-codec]                       'gzip', 'snappy', 'lz4', or 'zstd'.  
                                           If specified without value, then it  
                                           defaults to 'gzip'                   

, чтобы вы могли запустить что-то вроде ...

cat my-data.json | kafka-console-producer --broker-list kafka:9092 --topic json-topic --compression-codec gzip