Мне интересно, сталкивался ли кто-либо из вас с такой же проблемой. В основном я выполняю некоторые задания Spark в Kubernetes согласно https://spark.apache.org/docs/2.3.1/running-on-kubernetes.html.
И, кажется, есть некоторые проблемы с INSERT OVERWRITE для паркетных столов. В основном выдает ошибку
2019-01-17 10:55:53 INFO DAGScheduler:54 - Job 1 finished: saveAsTable at test_job.scala:444, took 6.967624 s
Exception in thread "main" org.apache.spark.sql.AnalysisException: Can not create the managed table('`schema`.`table`'). The associated location('maprfs:/datalake/schema.db/table') already exists.;
Похоже, он не опускает стол перед вставкой. Я пытался найти какую-то ошибку для этого, но не могу ее найти.
Когда я запускаю ту же работу на YARN, то работает без проблем.
Вот код, который я выполняю на Spark 2.4.0
{
df
.write
.mode("Overwrite")
.format("parquet")
.saveAsTable(s"schema.table")
}