Запись таблицы SQL напрямую в файл в Scala

Question

Team, я работаю над блоками данных Azure, я могу записать кадр данных в файл CSV, используя следующую опцию:

df2018JanAgg
.write.format("com.databricks.spark.csv")
.option("header", "true")
.save("dbfs:/FileStore/output/df2018janAgg.csv")

, но я ищу возможность записи данных непосредственно изТаблица SQL в CSV в Scala. Может кто-нибудь, пожалуйста, дайте мне знать, если такие варианты существуют.

Спасибо, Срини

Answer 1

Да, данные могут быть напрямую загружены из таблицы SQL в Datafame и наоборот. Справка: https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

//JDBC -> DataFarme -> CSV
spark.read
.format("jdbc")
.option("url", "jdbc:postgresql:dbserver")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.load()
.write.format("com.databricks.spark.csv")
.option("header", "true")
.save("dbfs:/FileStore/output/df2018janAgg.csv")

//DataFarme -> JDBC
df.write
.format("jdbc")
.option("url", "jdbc:postgresql:dbserver")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.save()