Я пытаюсь использовать Kafka 0.10.2 в моем проекте Spark Streaming (который использует библиотеку 1.6.0-cdh.5.14.2), но он выдает следующую ошибку во время выполнения:
Caused by: java.lang.NoSuchMethodError: kafka.message.MessageAndMetadata.<init>(Ljava/lang/String;ILkafka/message/Message;JLkafka/serializer/Decoder;Lkafka/serializer/Decoder;)V
at org.apache.spark.streaming.kafka.KafkaRDD$KafkaRDDIterator.getNext
В частности, это происходит, когда я использую foreachPartition для определенного СДР.
Спасибо