Может ClickHouse Kafka Engine использовать сжатые сообщения JSON?

Question

Может ли ClickHouse Kafka Engine использовать сжатые сообщения JSON из раздела Kafka с использованием формата JSONEachRow?

Будет ли он автоматически распаковывать сообщения и затем применять разбор JSON?Нужна ли ему какая-то специальная конфигурация?

РЕДАКТИРОВАТЬ Мой вопрос направлен на то, может ли ClickHouse не читать эти сообщения из-за сжатия тем с помощью заданной конфигурации сжатия в теме Kafka.

Answer 1

Да, если клиент ClickHouse способен понимать сжатие тем Kafka.Например, более ранние версии не смогут понять сжатие ZStandard, но они поймут, например, snappy.Будь то JSON или что-то еще, это зависит от указанного метода синтаксического анализа.Если эти сообщения сами сжаты (хотя и избыточны), то они не будут правильно анализироваться, как говорит @Amos.

Answer 2

Kafka Двигатель потребляет сообщения, как они есть - не больше, не меньше.Это почти то же самое, что чтение из собственных файлов, за исключением того, что границы сообщений могут нуждаться в специальных обработках.ClickHouse не поддерживает чтение сжатых файлов данных, кроме собственных сериализованных блоков.Таким образом, ответ - нет, он не может использовать сжатые сообщения JSON.