Блоки данных: объединить фрейм данных в таблицу хранилища данных sql.

Question

Есть ли способ, где я могу вставить в таблицу хранилища данных SQL? Предположим, у меня есть таблица хранилища данных SQL Azure: col1 col2 col3 2019 09 10 2019 10 15

У меня есть кадр данных col1 col2 col3 2019 10 20 2019 11 30

Затем объедините в исходную таблицуТаблица хранилища данных Azure

col1 col2 col3 2019 09 10 2019 10 20 2019 11 30

Спасибо всем за идею

Answer 1

вы можете сохранить вывод в файл, а затем использовать действие хранимой процедуры из фабрики данных Azure для upsert. Просто небольшая процедура, которая сохранит значения из файла. Я предполагаю, что вы используете фабрику данных Azure здесь.

Answer 2

Отличный вопрос. Мне нужно сделать то же самое через пару дней;просто нужно сначала закончить одну предварительную вещь. Попробуйте приведенную ниже концепцию и посмотрите, подходит ли она вам.

Запись в базу данных SQL Azure или SQL Server:

import com.microsoft.azure.sqldb.spark.config.Config
import com.microsoft.azure.sqldb.spark.connect._

// Aquire a DataFrame collection (val collection)

val config = Config(Map(
  "url"          -> "mysqlserver.database.windows.net",
  "databaseName" -> "MyDatabase",
  "dbTable"      -> "dbo.Clients",
  "user"         -> "username",
  "password"     -> "xxxxxxxx"
))

import org.apache.spark.sql.SaveMode

collection.write.mode(SaveMode.Append).sqlDB(config)

Пожалуйста, дайте мне обратную связь и дайте мне знать, работает ли она для вас. Я должен сделать это очень скоро.

https://docs.databricks.com/data/data-sources/sql-databases-azure.html

https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-connect-to-sql-database