KafkaAvroDeserializer - NoClassDefFoundError: io / confluent / common / config / ConfigException

Question

Я использую спарк для получения данных из темы кафка. Я должен deserialaizer avro данных с KafkaAvroDeserialaizer. Я конфиг кафка потребителя так:

 kafkaParams.put("bootstrap.servers", "10.0.4.215:9092");
 kafkaParams.put("key.deserializer", io.confluent.kafka.serializers.KafkaAvroDeserializer.class);
 kafkaParams.put("value.deserializer",io.confluent.kafka.serializers.KafkaAvroDeserializer.class);
 // kafkaParams.put("key.convert", com.datamountaineer.streamreactor.connect.converters.source.JsonSimpleConverter.class);
 //kafkaParams.put("value.convert",com.datamountaineer.streamreactor.connect.converters.source.JsonSimpleConverter.class);
 kafkaParams.put("group.id", "use_a_separate_group_id_for_each_stream");
 kafkaParams.put("auto.offset.reset", "earliest");
 kafkaParams.put("enable.auto.commit", false);

Но когда я выполняю код, у меня возникает исключение в потоке

«потоковое начало» java.lang.NoClassDefFoundError: И.О. / сливная / общие / конфигурации / ConfigException

Может кто-нибудь сказать мне, где я могу найти этот класс def? Например, Maven зависимость Ext.

Answer 1

У меня была такая же проблема. Я использовал 5.1.0 версию платформы слияния. Я проверил совместимость kafka <-> confluent и обнаружил, что есть новые версии с таким же уровнем совместимости. Я обновил версию до 5.1.1, и это решило эту проблему для меня.

Как пример:

Answer 2

Вам нужна следующая зависимость: группа: 'io.confluent', имя: 'common-config', версия: yourConfluentVersion