java.lang.ClassNotFoundException в sbt scala 2.11 IntelliJ IDEA sbt 1.0

Question

Я выполнил код Scala в IntelliJ IDEA для spark.streaming.kafka, где я использую scala версии 2.11, sbt 1.0 и spark версии 2.0.1

Я пытаюсь отправить сообщение через производителя Kafka ипри попытке получить в искровом кластере я выполнил следующую команду в искровом кластере:

bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0- 
10_2.11:2.0.1 --class "KafkaWordCount" --master 
spark://bluedata5.bdlocal:7077 jars/sskafka_2.11-0.1.jar localhost:2080 
sds_test

Код: KafkaWordCount.scala

Build.sbt

Ошибка: выход 1

Выход 2

Пожалуйста, помогите мне решить ошибку

Answer 1

Сообщение об ошибке достаточно ясно, что говорит

java.lang.ClassNotFoundException: KafkaWordCount

Все, что вам нужно сделать, это предоставить полный путь к классу KafkaWordCount т.е. kafspa.KafkaWordCount

Таким образом, ваша команда spark-submit должна быть

bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-10_2.11:2.0.1 --class kafspa.KafkaWordCount --master spark://bluedata5.bdlocal:7077 jars/sskafka_2.11-0.1.jar localhost:2080 sds_test