Ошибка создания DataFrame в Spark с использованием Scala

Question

У меня ошибка при создании DataFrame в Spark с использованием Scala.

Исключение:

Исключение в потоке "main" java. lang.NoSuchMethodError: 'scala .collection.GenTraversable scala .collection.mutable.Buffer $ .empty ()'

Журнал:

at org.apache.spark.sql.SparkSessionExtensions.<init>(SparkSessionExtensions.scala:100)
at org.apache.spark.sql.SparkSession$Builder.<init>(SparkSession.scala:741)
at org.apache.spark.sql.SparkSession$.builder(SparkSession.scala:928)
at Dataframes.DataframeBasics$.delayedEndpoint$Dataframes$DataframeBasics$1(DataframeBasics.scala:13)
at Dataframes.DataframeBasics$delayedInit$body.apply(DataframeBasics.scala:5)
at scala.Function0.apply$mcV$sp(Function0.scala:39)
at scala.Function0.apply$mcV$sp$(Function0.scala:39)
at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:17)
at scala.App.$anonfun$main$1(App.scala:73)
at scala.App.$anonfun$main$1$adapted(App.scala:73)
at scala.collection.IterableOnceOps.foreach(IterableOnce.scala:553)
at scala.collection.IterableOnceOps.foreach$(IterableOnce.scala:551)
at scala.collection.AbstractIterable.foreach(Iterable.scala:921)
at scala.App.main(App.scala:73)
at scala.App.main$(App.scala:71)
at Dataframes.DataframeBasics$.main(DataframeBasics.scala:5)
at Dataframes.DataframeBasics.main(DataframeBasics.scala)

Answer 1

Используйте ту же версию Scala, что и файлы Spark, скомпилированные с

, например, если вы используете Scala 2.11.0, тогда лучше использовать spark-core_2.11 2.4.2 и т. Д. на

Также проверьте совместимость версии Spark, Had oop и AWS jar, она немного сложная.

• Spark 2.4.x
• Имел oop 2.6.5
• AWS Java SDK любой версии