Azure ADF V2 ForEach File CopyData из хранилища BLOB-объектов в SQL Таблица

Question

Мне нужно спроектировать конвейер ADF, чтобы скопировать файл CSV, созданный в определенном пути к папке хранилища BLOB-объектов с именем «Текущий», в таблицу SQL. После успешного копирования мне придется переместить файл в папку архива.

Вещи, которые я выполнил : я использую операцию копирования данных, которая копирует файл CSV и загружает в мою таблицу SQL. В случае успеха другое действие по копированию данных скопирует файл CSV из папки «Текущая» в «Архив», после этого у меня будет операция «Удалить», удаляющая файл из текущей папки.

Issue : Это совершенно нормально, когда одновременно существует только один файл. Но я хочу изменить это для обработки нескольких файлов импорта. Я хочу использовать деятельность ForEach. Пожалуйста помоги.

Answer 1

Вам нужно добавить действие Get Metadata перед каждым. Действие Get Metadata получит файлы в текущем каталоге и передаст их For-Each. Вы подключаете его к своей папке хранения Blob и указываете маску файла. Выходные данные действия должны быть входными данными для каждого для каждого l oop. Примерно так .. @ activity ('Get Metadata'). Output. Кстати, как вы запускаете этот конвейер ADF? Другой способ выполнить sh - это настроить триггер события для запуска этого конвейера всякий раз, когда файл создается в этом каталоге BLOB-объектов. Ниже приведены инструкции по использованию файлов For-Each on в контейнере хранилища.

1. Установите для аргумента Get Metadata значение "Child Items"
2. В вашем For-Each установите для элементов значение @activity ('Get Metadata1'). Output.childitems

В наборе исходных данных, используемом в вашей операции копирования, создайте параметр с именем FileName.

Установите путь к файлу для использования параметра

В операции копирования установите для параметра FileName значение @item (). Name

Для завершения sh вам нужно будет установить раковину на то, что вам нужно. Это должно сделать это.