Варианты приема и обработки данных в Azure SQL

Question

Мне нужно мнение эксперта о проекте, над которым я работаю. В настоящее время мы получаем файлы данных, которые загружаем в нашу базу данных SQL Azure, используя локальный скрипт, который вызывает хранимые процедуры. Я планирую заменить сценарий заданиями ssis для загрузки данных в наш SQL Azure, но мне интересно, если это хороший вариант с учетом наших потребностей. Я также открыт для различных предложений. Процесс, который мы проходим, заключается в загрузке файла данных в промежуточные таблицы и проверке перед обновлением живых таблиц. Проверка и обновления выполняются путем вызова хранимых процедур ... поэтому пакет ssis просто загрузит данные и вызовет эти хранимые процедуры. Я посмотрел на ADF IR и Databricks, но они кажутся излишними, но я открыт для того, чтобы слышать и людей, имеющих опыт их использования. В настоящее время я также запускаю пакет ssis локально. Любое предложение о лучшей архитектуре или инструментах для этого сценария? Спасибо!

Answer 1

Я бы определенно посмотрел на потоки данных фабрики данных Azure. Благодаря этому вы можете легко построить свои ETL-конвейеры в графическом интерфейсе фабрики данных Azure.

В следующем примере два текстовых файла из хранилища BLOB-объектов читаются, объединяются, добавляется суррогатный ключ и, наконец, данные загружаются. в Azure Synapse Analytics (то же самое для Azure SQL):

Наконец, вы поместили этот поток данных сопоставления в конвейер и можете его запустить,например, если поступают новые данные.

Answer 2

Вы можете просто ЗАГРУЗИТЬ данные INSERT из хранилища BLOB-объектов Azure:

https://docs.microsoft.com/en-us/sql/relational-databases/import-export/examples-of-bulk-access-to-data-in-azure-blob-storage?view=sql-server-ver15#accessing-data-in-a-csv-file-referencing-an-azure-blob-storage-location

Затем вы можете использовать ADF (без ИК), блоки данных, пакетные задания Azure или эластичные задания Azure, чтобы запланироватьвыполнение.