отсутствует или обнаружена неверная зависимость при загрузке файла класса
'KafkaUtils.class. Не удалось получить доступ к термину кафка в упаковке
потому что он (или его зависимости) отсутствуют. Проверьте свою сборку
определение отсутствующих или конфликтующих зависимостей. (Повторно с
-Ylog-classpath чтобы увидеть проблемный путь к классам.) Полная перестройка
может помочь, если 'KafkaUtils.class' был скомпилирован с несовместимым
версия. SparkKafkaDemo Неизвестная проблема Scala
Я получаю выше ошибку в затмении. Я использую Scala 2.11.8 и Spark 2.3.0, Kafka 2.11-0.9.0.0 Добавлены Jars: hadoop-common-2.6.5, spark-core_2.11-2.3.0, spark-streaming_2.11-2.3.0, искровым потокового-kafka_2.11-1.4.0
Мой код:
import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.kafka.KafkaUtils
object sparkkafka {
def main(args: Array[String]) {
val sparkConf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]")
val ssc = new StreamingContext(sparkConf, Seconds(2))
val lines = KafkaUtils.createStream(ssc, "localhost:2181", "spark-streaming-consumer-group", Map("customer" -> 5))
lines.print()
ssc.start()
ssc.awaitTermination()
}
}