Используйте Spark 2.4.0 и выше с Scala версии 2.11.11, это поможет исправить эти незначительные ошибки.
build.sbt
scalaVersion := "2.11.11"
libraryDependencies ++= Seq(
"com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.9.8",
"org.apache.spark" %% "spark-core" % "2.4.0",
"org.apache.spark" %% "spark-repl" % "2.4.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.4.0",
)
Затем добавьте jackson-module-scala willпоможет вам переопределить устаревшую версию в библиотеке, если когда-либо будет ошибка в версии Джексона. Дайте мне знать, если все еще есть ошибки.