Искра ClassNotFoundException представить пряжу

Question

У меня есть программа spark (scala).

Я запускаю сборку команд, чтобы получить банку.

Я поставил банку на кластер hdfs (так что банка физически находится насервер)

Я запускаю команду jar -tvf, чтобы убедиться, что мой основной класс находится в банке (и это: com/mycompany/MyMainClass.class

Я пытаюсь выполнить следующую команду на серверемой кластер ./hadoop/spark/bin/spark-submit --class com.mycompany.MyMainClass --master yarn project.jar

и у меня есть эта ошибка:

Failed to load com.mycompany.MyMainClass.
java.lang.ClassNotFoundException: com.mycompany.MyMainClass

Может ли кто-нибудь мне помочь?

Answer 1

Это было из-за сборки в sbt для scala, это правильная mergeStrategy для меня

`assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}`

Answer 2

Поместите весь путь в аргумент jar https://spark.apache.org/docs/latest/submitting-applications.html