Как загрузить файлы из BLOB-объекта в sql DW с помощью фабрики данных azure?

Question

Я пробовал так много способов загрузки данных из:

1. Azure blob в azure sql synapse.

   Мое требование: Описание:

   (Input)Blob storage --->  Azure sql synapse(Output)
                  emp_dummy.csv----> emp_dummy table
                  dept_dummy.csv -----> dept_dummy table
                  sales_dummy.csv-----> sales_dummy table   and so on
   

   ...

У нас есть файлы, начинающиеся с разных имен, но формат только .csv. Я пытался сделать это различными способами, используя getmetadata действие или операцию поиска.

Когда я пытался выполнить следующее действие, столкнулся с ошибкой: ADF конвейер Ошибка:

{
    "errorCode": "2200",
    "message": "ErrorCode=UserErrorMissingPropertyInPayload,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Required property 'fileName' is missing in payload.,Source=Microsoft.DataTransfer.ClientLibrary,'",
    "failureType": "UserError",
    "target": "Copy data1",
    "details": []
}

Надеюсь, я упомяну все детали, если понадобится еще, дайте мне знать.

Answer 1

Я сделал поиск в Google для вас. Я нашел несколько действительно плохих уроков. Две ссылки ниже выглядят чертовски точными.

https://intellipaat.com/blog/azure-data-factory-tutorial/

https://medium.com/@adilsonbna / using- azure -data-lake-to- copy-data-from-csv-file-to-a- sql -database-712c243db658

Помните, что при копировании данных из хранилищ файлов с помощью Azure Data Factory вы теперь можно настроить фильтры файлов с подстановочными знаками, чтобы копировать активность можно только для файлов с определенным шаблоном именования, например «* .csv» или «??? 20180504. json».

Для справки посмотрите на изображение ниже.

Если вы хотите перебрать все файлы в разных папках, в среде BLOB-файлов вместо установки для этого параметра «Файл или папка»:

adfv2/SalesJan2009.csv

Для файла или папки можно установить следующее:

adfv2/Sales*2009.csv

Это объединит все данные о продажах за 2009 год в один фрейм данных, который вы сможете загрузить на SQL Сервер (хранилище данных, Synapse и т. Д. c).

Answer 2

Я понял это.

Вот мой пример шагов: загрузить два файла CSV в ADW и автоматически создать таблицу с тем же именем и именем файла CSV.

Csv-файлы в хранилище BLOB-объектов:

Получить все имена файлов в контейнере BLOB-объектов 'backup' :

Настройки элемента Foreach:

@activity('Get Metadata2').output.childItems

Копирование активно в Foreach:

При копировании активно, используя другой источник BLOB-объекта, добавьте параметр в выберите файл:

Настройки источника:

Набор данных для мойки (ADW):

Настройки мойки:

выражение имени таблицы: @split(item().name, '.')[0]

Примечание: get метаданные получат полное имя файла, например 'test.csv', когда мы устанавливаем имя таблицы, мы нужно разделить его и установить имя таблицы как «тест».

Выполнить конвейер:

Проверить данные в ADW :

Хмель Это помогает.