spark-submit: java.lang.NoSuchMethodError: org.apache.spark.SparkContext $. $ lessinit $ больше $ default $ 6 () Lscala / collection / Map; - PullRequest
Новая
       12

spark-submit: java.lang.NoSuchMethodError: org.apache.spark.SparkContext $. $ lessinit $ больше $ default $ 6 () Lscala / collection / Map;

0 голосов
/ 07 ноября 2019

Я запускаю простой пример Scala на спарк. В этой строке: 

val sc = new SparkContext("spark://login.hpc-lan.recolic.org:7077", "Recolic+Hust BigData Lab")

Броски искры: 

root@ip-172-31-46-127 ~/h/hust-bigdata-lab# spark-submit --master spark://login.hpc-lan.recolic.org:7077 --class net.recolic.hust.bigdata.labx.Main  target/hust-bigdata-labx.jar 
19/11/07 07:37:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext$.$lessinit$greater$default$6()Lscala/collection/Map;
    at net.recolic.hust.bigdata.labx.Main$.main(Main.scala:10)
    at net.recolic.hust.bigdata.labx.Main.main(Main.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
    at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:845)
    at org.apache.spark.deploy.SparkSubmit.doRunMain$1(SparkSubmit.scala:161)
    at org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
    at org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
    at org.apache.spark.deploy.SparkSubmit$$anon$2.doSubmit(SparkSubmit.scala:920)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:929)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

Мой pom.xml вставлен сюда . Я пытался перейти на scala 1.10, пытался создать толстый jar, включающий все зависимости, пытался использовать sbt, но ни одна из них не решает проблему.

Не могли бы вы дать какие-либо предложения?

-- ОБНОВЛЕНИЕ

Моя искра 2.4.4 со скалой 2.11.12. Поэтому я изменил pom.xml , чтобы использовать spark SDK 2.4.4. Тем не менее, все та же ошибка.

...