java.lang.IllegalArgumentException: неизвестный идентификатор типа сжатия: 5

Question

Я получаю следующую ошибку при попытке прочитать с Кафки

java.lang.IllegalArgumentException: Unknown compression type id: 5
at org.apache.kafka.common.record.CompressionType.forId(CompressionType.java:46)
at org.apache.kafka.common.record.Record.compressionType(Record.java:260)
at org.apache.kafka.common.record.LogEntry.isCompressed(LogEntry.java:89)
at org.apache.kafka.common.record.RecordsIterator.makeNext(RecordsIterator.java:70)
at org.apache.kafka.common.record.RecordsIterator.makeNext(RecordsIterator.java:34)
at org.apache.kafka.common.utils.AbstractIterator.maybeComputeNext(AbstractIterator.java:79)
at org.apache.kafka.common.utils.AbstractIterator.hasNext(AbstractIterator.java:45)
at org.apache.kafka.clients.consumer.internals.Fetcher.parseCompletedFetch(Fetcher.java:772)
at org.apache.kafka.clients.consumer.internals.Fetcher.fetchedRecords(Fetcher.java:473)
at org.apache.kafka.clients.consumer.KafkaConsumer.pollOnce(KafkaConsumer.java:1038)
at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:995)
at org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread.run(KafkaConsumerThread.java:243)

Есть идеи, что это может быть или где я должен искать?

Answer 1

Я столкнулся с той же проблемой из-за несовместимой с клиентами версии и тем, созданных в старой версии kafka.

Проверьте версию клиента-клиента kafka и версию kafka.

Answer 2

Kafka поддерживает эти кодеки сжатия - НЕТ, GZIP, SNAPPY, LZ4, ZSTD .И там типы сжатия стоят между 0-4 (, как описано ниже в ссылке также )

https://github.com/apache/kafka/blob/trunk/clients/src/main/java/org/apache/kafka/common/record/CompressionType.java#L169

Если вы используете другой кодек сжатия помимо этих, вынужно поменять на тот, который поддерживает Кафка.