КафкаУтилс класс в кафке 0.11

Question

мы используем потоковую передачу для чтения и записи из kafka и используем библиотеку KafkaUtils в spark-streaming_2.11, которая имеет библиотеки kafka 0.10.0. Правильно, я нахожусь в процессе обновления jars kafka-client до 0.11, чтобы использовать некоторую функцию, но так как у spark-streaming kafka 0.10 не используется. Я пытался исключить то же самое из spark-streaming, но его жалобы ниже класса KafkaUtils который только в 0,10. Даже 2.3 идет в комплекте с kafka0.10 (spark-streaming-kafka-0-10_2.11-2.3.0.cloudera2.jar). Как я могу избавиться от этой зависимости KAfkautils в 2.10?

SCALA КОД для потокового искрового создания Direct Stream

    import org.apache.spark.streaming.kafka010.KafkaUtils
    val directKafkaStream = KafkaUtils.createDirectStream[String, String](
                            ssc, PreferConsistent, Subscribe[String, String](topicSet, 
                            conf.kafkaParams))

POM. XML

 <dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.10.0.0</version>
</dependency>

     <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    <version>2.1.0.cloudera1</version>
    <scope>provided</scope>            
</dependency>

Answer 1

Попробуйте удалить «kafka-clients», так как в этом нет необходимости.

Также, если вы используете apache spark, обязательно используйте приведенный ниже.

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
    <version>2.3.0</version>
</dependency>