Получение нежелательных символов при использовании сообщений из темы kafka - PullRequest
0 голосов
/ 04 августа 2020

Я отправляю сообщение от своего производителя "{" Test ":" Utility Message "}". этот производитель настроен на использование "мгновенного" сжатия.

Если я отправлю сообщение в тему1 и использую нашего потребителя, я смогу получить сообщение обратно.

MessageConsumer.consumeAll log="consumerRecord--ConsumerRecord(topic = topic1, partition = 2, offset = 440, CreateTime = 1596519836114, serialized key size = -1, serialized value size = 31, headers = RecordHeaders(headers = [], isReadOnly = false), key = null, value = {"Test":"Utility Message"})"

Но если я отправлю одно и то же сообщение с использованием одного и того же производителя для темы2 и использования одного и того же потребителя, я вижу нежелательные значения, означающие сжатое сообщение.

MessageConsumer.consumeAll log="consumerRecord--ConsumerRecord(topic = topic2, partition = 7, offset = 399383, CreateTime = 1596521718378, serialized key size = -1, serialized value size = 560, headers = RecordHeaders(headers = [], isReadOnly = false), key = null, value = ??@[G?5???f??Z .??zX?Cp0T?w\x00\x00\x00 ??z'?9???C?7[???x?#???K?
?nv\x00\x00?t^?0)v??7+??

По какой-то причине эта тема2 не может обрабатывать сжатые сообщения, производитель и Потребитель такой же. отправляемое сообщение такое же.

Я уже проверил, что для этих двух тем не задано какое-либо переопределение сжатого типа на уровне topi c.

Topic: topic2   PartitionCount: 20  ReplicationFactor: 3    Configs: segment.bytes=1073741824,retention.ms=2592000000,retention.bytes=268435456000
Topic: topic1   PartitionCount: 20  ReplicationFactor: 3    Configs: segment.bytes=16106127,retention.ms=2592000000,retention.bytes=161061274

Пожалуйста, поделитесь своими мыслями о том, что здесь может быть не так?

...