Как вставить объемные данные через искровой фрейм данных в хранилище данных Sql Server, используя принцип обслуживания, используя блоки данных

Question

Я пытаюсь вставить объемные данные через искровой фрейм данных в хранилище данных Sql-сервера в Databricks. Для этого я использую модуль pyodbc с принципом обслуживания (а не с помощью jdbc). Я добился с помощью одной вставки. Я не смог найти способ вставить объемные данные в хранилище данных сервера SQL. Может кто-нибудь помочь мне способ вставить данные навалом?

Answer 1

Примеры здесь: https://docs.databricks.com/spark/latest/data-sources/azure/sql-data-warehouse.html

Хотя обычно рекомендуется использовать учетную запись хранилища больших двоичных объектов.

Вы также можете использовать стандартный интерфейс SQL: https://docs.databricks.com/spark/latest/data-sources/sql-databases.html

Но вы не можете использовать субъект-службу - вам понадобится SQL Login.Я бы хранил строку соединения в хранилище ключей как секрет (используя логин SQL).Получите секрет, используя субъект-службу, а затем подключитесь к SQL с помощью строки подключения.