Databricks - перемещение данных из временного хранилища данных в хранилище данных или прямое перемещение из таблицы Databricks в хранилище данных.

Question

Как мы перемещаем данные из временного представления или таблицы блоков данных в хранилище данных напрямую. Пожалуйста, дайте мне знать, поскольку я новичок в блоках данных.

В документе просто показано прямое подключение к Datawarehouse, но как мы перемещаем данные

Answer 1

Вы перемещаете данные, записывая фрейм данных во внешнее расположение. Например,

df.write
  .format("com.databricks.spark.sqldw")
  .option("url", "jdbc:sqlserver://<the-rest-of-the-connection-string>")
  .option("forwardSparkAzureStorageCredentials", "true")
  .option("dbTable", "my_table_in_dw_copy")
  .option("tempDir", "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>")
  .save()

https://docs.databricks.com/data/data-sources/azure/synapse-analytics.html