Загрузка контекста Spark приводит к возникновению исключения в потоке «main» java .lang.NoSuchMethodError: org. apache .spark.internal.config.TypedConfigBuilder.checkValu - PullRequest
Новая
       3

Загрузка контекста Spark приводит к возникновению исключения в потоке «main» java .lang.NoSuchMethodError: org. apache .spark.internal.config.TypedConfigBuilder.checkValu

0 голосов
/ 29 мая 2020

Привет, я создаю sparkSession в scala, как показано ниже. 

val spark = SparkSession.builder().master("local").getOrCreate()

После запуска приложения я могу увидеть исключение. 

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.internal.config.TypedConfigBuilder.checkValue(Lscala/Function1;Ljava/lang/String;)Lorg/apache/spark/internal/config/TypedConfigBuilder;
at org.apache.spark.sql.internal.SQLConf$.<init>(SQLConf.scala:309)
at org.apache.spark.sql.internal.SQLConf$.<clinit>(SQLConf.scala)
at org.apache.spark.sql.internal.StaticSQLConf$.<init>(StaticSQLConf.scala:31)
at org.apache.spark.sql.internal.StaticSQLConf$.<clinit>(StaticSQLConf.scala)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:940)

это моя сборка. SDT часть. Scala версия - 2.11 

"org.apache.spark" %% "spark-core" % "2.4.4",
"org.apache.spark" %% "spark-sql" % "2.4.4" exclude ("org.apache.parquet", "parquet-hadoop"),
"org.apache.spark" %% "spark-catalyst" % "2.4.4",
...