Искра 2.4.4. вопрос библиотеки java .lang.NoSuchMethodError

Question

В настоящее время мы используем Databricks в качестве механизма исполнения, который запускает код spark / Scala. Это работало нормально, когда мы используем spark 2.4.0 и scala 2.11

Когда мы пытаемся использовать один и тот же код в новых версиях Spark 2.4.4 и Scala 2.11, мы получаем ошибку как ниже

java .lang.NoSuchMethodError: org. apache .spark. sql .execution.datasources.FilePartition.files () Lscala / collection / Seq;

Пробовал приведенный ниже импорт и все та же проблема.

import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SaveMode
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions.expr
import org.apache.spark.sql.Column
import sqlContext.implicits._

Answer 1

Кажется, что версия scala изменилась между двумя версиями. Согласно документам:

spark 2.4.0 (https://spark.apache.org/docs/2.4.0/):

Для API Scala Spark 2.4.0 использует Scala 2.11. Вам нужно будет использовать совместимую Scala версию (2.11.x).

spark 2.4.4 (https://spark.apache.org/docs/2.4.4/):

Для Scala API в Spark 2.4.4 используется Scala 2.12. Вам нужно будет использовать совместимую Scala версию (2.12.x).

Убедитесь, что все ваши зависимости установлены на scala 2.12, если вы используете spark 2.4.4