Ошибка с функцией SparkSession getOrCreate ()

Question

Я использую spark 2.1 с scala 2.11 и spark-sql_2.11 в intelliJ.

Когда я использую getOrCreate() метод с SparkSession, я получаю ошибку.Когда я комментирую getOrCreate() код работает нормально.

val spark = SparkSession.builder()
    .appName("SparkSQL")
    .master("local[*]")
    .config("spark.sql.warehouse.dir", "/Users/temp")
    .getOrCreate()

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.internal.config.TypedConfigBuilder.checkValue(Lscala/Function1;Ljava/lang/String;)

Answer 1

Проверьте версию artifcat spark-sql_2.11, она должна совпадать с искровым ядром ... ниже мой POM, который работает нормально ...