Перезаписанный струйный паркет

Question

Я хотел бы иметь возможность перезаписать мой путь вывода форматом паркета, но он не входит в число доступных действий (добавление, завершение, обновление). Есть ли здесь другое решение?

val streamDF = sparkSession.readStream.schema(schema).option("header","true").parquet(rawData)

val query = streamDF.writeStream.outputMode("overwrite").format("parquet").option("checkpointLocation",checkpoint).start(target)
query.awaitTermination()

Answer 1

Apache Spark поддерживает только режим Append для File Sink. Проверьте здесь

Вам необходимо написать код для удаления пути / папки / файлов из file system перед записью данных.

Проверьте эту ссылку на стек переполнения для ForeachWriter. Это поможет вам добиться вашего дела.