Можем ли мы использовать Scala для выполнения операций UPDATE и DELETE с дельта-таблицами Databricks?

Question

Я могу создавать дельта-таблицы блоков данных, используя scala, и выполнять над ними операции добавления и перезаписи.

Можно ли каким-либо образом выполнять операции DELETE и UPDATE, используя scala, а не через среду выполнения Databricks.

val target = Seq(
  Data("a", "0"),
  Data("b", "1"),
  Data("c", "2"),
  Data("d", "3")
).toDF().write.format("delta").mode("overwrite").saveAsTable("target")
val DF1 = spark.table("target")
DF1.show()

val NewInserts = Seq(
  Data("a", "0"),
  Data("b", "1"),
  Data("c", "2"),
  Data("d", "3")
).toDF().write.format("delta").mode("append").saveAsTable("target")

val DF2 = spark.table("target")
DF2.show()

Answer 1

Еще нет! Только команды sql поддерживают обновление / удаление / слияние. Databricks работает над выпуском эквивалентов scala / python.