обновление deltaTable выдает NoSuchMethodError

Question

Я начал изучать озеро дельты и получил это исключение при попытке обновить таблицу.

Я использую:

aws EMR 5.29

Saprk 2.4.4

Scala версия 2.11.12 и использование io.delta:delta-core_2.11:0.5.0.

import io.delta.tables._
import org.apache.spark.sql.functions._
import spark.implicits._

val deltaTable = DeltaTable.forPath(spark, "s3://path/")

deltaTable.update(col("col1") === "val1", Map("col2" -> lit("val2")));

java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.Analyzer.execute(Lorg/apache/spark/sql/catalyst/plans/logical/LogicalPlan;)Lorg/apache/spark/sql/catalyst/plans/logical/LogicalPlan;
  at org.apache.spark.sql.delta.util.AnalysisHelper$class.tryResolveReferences(AnalysisHelper.scala:33)
  at io.delta.tables.DeltaTable.tryResolveReferences(DeltaTable.scala:42)
  at io.delta.tables.execution.DeltaTableOperations$$anonfun$5.apply(DeltaTableOperations.scala:93)
  at io.delta.tables.execution.DeltaTableOperations$$anonfun$5.apply(DeltaTableOperations.scala:93)
  at org.apache.spark.sql.catalyst.plans.logical.UpdateTable$$anonfun$1.apply(UpdateTable.scala:57)
  at org.apache.spark.sql.catalyst.plans.logical.UpdateTable$$anonfun$1.apply(UpdateTable.scala:52)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
  at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
  at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
  at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
  at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
  at scala.collection.AbstractTraversable.map(Traversable.scala:104)
  at org.apache.spark.sql.catalyst.plans.logical.UpdateTable$.resolveReferences(UpdateTable.scala:52)
  at io.delta.tables.execution.DeltaTableOperations$class.executeUpdate(DeltaTableOperations.scala:93)
  at io.delta.tables.DeltaTable.executeUpdate(DeltaTable.scala:42)
  at io.delta.tables.DeltaTable.updateExpr(DeltaTable.scala:361)
  ... 51 elided

есть идеи почему?

Спасибо!

Answer 1

Приносим извинения за неудобства, но это ошибка в версии Spark в комплекте с emr-5.29.0. Это будет исправлено в emr-5.30.0, но пока вы можете использовать emr-5.28.0, который не содержит этой ошибки.

Answer 2

Обычно это происходит потому, что вы используете несовместимую версию Spark. Вы можете напечатать sc.version, чтобы проверить версию Spark.