Зависимость библиотеки не разрешена при запуске spark-submit на emr - PullRequest
0 голосов
/ 27 мая 2019

11.12 и spark 2.4.0, я добавил sparkts 0.4.1 в качестве зависимости библиотеки, но получаю ошибки. Вот как выглядит мой build.sbt: Исключение в потоке "main" java.lang.NoClassDefFoundError: com / cloudera / sparkts / TimeSeriesRDD в java.lang.Class.getDeclaredMethods0 (собственный метод) в java.lang.Class.privateGetDeclaM Class.java:2701) в java.lang.Class.privateGetMethodRecursive (Class.java:3048) в java.lang.Class.getMethod0 (Class.java:3018) в java.lang.Class.getMethod (Class.java:1784 ) в org.apache.spark.deploy.JavaMainApplication.start (SparkApplication.scala: 42) в org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runMain (SparkSubmit.scala: 849) в org.apache.spark.deploy.SparkSubmit.doRunMain $ 1 (SparkSubmit.scala: 167) в org.apache.spark.deploy.SparkSubmit.submit (SparkSubmit.scala: 195) в org.apache.spark.deploy.SpubS. doSubmit (SparkSubmit.scala: 86) в org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit (SparkSubmit.scala: 924) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 933 ) в org.apache.spark.deploy.SparkSubmit.main (SparkS ubmit.scala) Причина: java.lang.ClassNotFoundException: com.cloudera.sparkts.TimeSeriesRDD в java.net.URLClassLoader.findClass (URLClassLoader.java:382) в java.lang.ClassLoader.loadClass (ClassLoader) at java.lang.ClassLoader.loadClass (ClassLoader.java:357) ... еще 13 19/05/27 15:14:56 ИНФОРМАЦИЯ ShutdownHookManager: вызывается ловушка отключения 19/05/27 15:14:56 ИНФО ShutdownHookManager: удаление каталог / mnt / tmp / spark-1f0eff8e-ceb1-463b-a295-8cc15140c45c

и этот мой файл build.sbt: Зависимости импорта ._

ThisBuild / scalaVersion: = "2.11.12" ThisBuild / version: = "0.1.0-SNAPSHOT" ThisBuild / organization: = "com.example" ThisBuild / organizationName: = "example"

lazy val root = (проект в файле (".")) .Settings (name: = "salima", libraryDependencies + = scalaTest% Test, libraryDependencies + = "com.cloudera.sparkts"% "sparkts"% " 0.4.0 ", libraryDependencies + =" org.apache.spark "%%" spark-mllib "%" 2.4.0 ", libraryDependencies + =" org.apache.spark "%" spark-core_2.11 "%" 2.4 .0 ", libraryDependencies + =" org.apache.spark "%" spark-sql_2.11 "%" 2.4.0 ", libraryDependencies + =" org.threeten "%" threeten-extra "%" 0.9 ", // libraryDependencies + = "org.scala-lang"% "scalap"% "2.11.12", // libraryDependencies + = "org.scala-lang"% "scala-compiler"% "2.11.12") resolvers ++ = Seq («Хранилище Cloudera» в «https://repository.cloudera.com/artifactory/cloudera-repos/")

»

Есть предложения, пожалуйста?

...