Получаете java.lang.NoSuchMethodError при запуске программы spark на языке scala? - PullRequest
0 голосов
/ 24 сентября 2018

Я запускаю программу spark в scala и получаю ошибку ниже времени выполнения:

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
    at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:780)
    at org.apache.spark.sql.SparkSession$Builder.appName(SparkSession.scala:771)
    at tavant.user.userProcess$.getUser(userProcess.scala:10)
    at tavant.user.call$delayedInit$body.apply(call.scala:4)
    at scala.Function0$class.apply$mcV$sp(Function0.scala:40)
    at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12)
    at scala.App$$anonfun$main$1.apply(App.scala:71)
    at scala.App$$anonfun$main$1.apply(App.scala:71)
    at scala.collection.immutable.List.foreach(List.scala:318)
    at scala.collection.generic.TraversableForwarder$class.foreach(TraversableForwarder.scala:32)
    at scala.App$class.main(App.scala:71)
    at tavant.user.call$.main(call.scala:3)
    at tavant.user.call.main(call.scala)

Я думаю, что это из-за проблемы с версией, ниже приведены версии, которые я использую RightYT сейчас в моем pom:

<dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.10.0</version>
    </dependency>
<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.6.0-cdh5.15.1</version>
    </dependency>

И, кроме того, я использую последнюю динамическую связку компилятора Scala версии 2.10.Я также пытался с 2.11, но снова получаю ошибку.Кто-нибудь знает, какая версия scala совместима с версией spark, которую я использую в настоящее время?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...