Исключение в потоке "main" - PullRequest
Новая
       4

Исключение в потоке "main"

0 голосов
/ 28 мая 2018

Я новичок в Spark и Kafka, изучаю их сейчас.Я пытаюсь интегрировать Kafka со Spark, мне удалось выполнить программу через Eclipse.Когда я пытался с помощью Spark Submit, я получаю сообщение об ошибке ниже:

Исключение в потоке "main" java.lang.NoClassDefFoundError: org / apache / kafka / clients / customer / Consumer

Мой контент для сборки: 

name := "spark_streaming"
version := "0.0.1"
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.1.1",
"org.apache.spark" %% "spark-sql" % "2.1.1",
"org.apache.spark" %% "spark-mllib" % "2.1.1",
"org.apache.spark" %% "spark-hive" % "2.1.1",
"org.apache.spark" %% "spark-streaming" % "2.1.1" % "provided",
"org.apache.kafka" %% "kafka" % "0.11.0.0",
"org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.1.1",
"org.apache.spark" %% "spark-sql-kafka-0-10" % "2.1.1",
"org.apache.kafka" % "kafka-clients" % "0.11.0.0",
"org.apache.spark" %% "spark-streaming-kafka-assembly" % "1.5.2"
)
...