Spark DataFrame в XML-файл

Question

Я новичок в программировании Scala / Spark, и мне нужно сохранить DataFrame в виде файла XML, я получаю DataFrame из запроса HQL (Hive).

Это простой DataFrame (без массивов или другого сложного типа)

Я уже исследовал и нашел библиотеку spark-xml, но кажется, что эта библиотека не работает для этой проблемы.

Answer 1

Вы можете использовать API-интерфейсы spark-xml из Databricks для сохранения фрейма данных spark в xml-файл.Нечто вроде ниже ..

val selectedData = df.select("author", "_id")
selectedData.write
    .format("com.databricks.spark.xml")
    .option("rootTag", "books")
    .option("rowTag", "book")
    .save("newbooks.xml")

"com.databricks" %% "spark-xml" % "0.4.1"