Spark работает нормально в Zeppelin, но когда я добавляю jar-зависимость и запускаю что-то вроде:
val df = spark.read.json("path/file1")
, я получаю следующую ошибку:
com.fasterxml.jackson.databind.JsonMappingException: Jackson version is too old 2.5.4
Если я запускаюво второй раз я получил:
java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.rdd.RDDOperationScope$
(Не уверен, почему ошибка меняется при втором запуске)
Если я не прикрепляю банку, код работает нормально.Возможно, это связано с конфликтами?
Попытка сделать что-то вроде следующего в опции интерпретатора в Spark, но все та же ошибка:
artifact: path/utils.jar
exclude: com.fasterxml.jackson.databind (Is this the correct way to write how to exclude jackson?)
Любые идеи?