Как передать папку из хранилища озера данных в качестве параметра в конвейер?

Question

В фабрике данных я знаю, что вы можете передать параметр в начале конвейера, а затем получить к нему доступ через @pipeline (). Если у меня есть папка в хранилище озера данных, как я могу передать ее в качестве параметра и получить к ней доступ позже (скажем, я хочу сделать цикл для каждого для каждого файла внутри него). Я передаю путь к папка? Я передаю это как объект?

Answer 1

1. Во-первых, вам нужно создать связанный сервис хранилища озера данных. Он будет содержать путь к хранилищу данных лазурного озера. Вы можете использовать пользовательский интерфейс фабрики данных Azure для создания связанной службы

2. Затем необходимо создать ссылку на набор данных хранилища озера данных, которая связывала службу на шаге 2.

3. Затем на шаге 2 создается эталонный набор данных деятельности getMetaData.

4. Далее следуют шаги, предусмотренные саммитом.

Все это можно сделать в пользовательском интерфейсе. https://docs.microsoft.com/en-us/azure/data-factory/quickstart-create-data-factory-portal#create-a-pipeline

Answer 2

Вот шаги, которые вы можете использовать -

1. Вы можете использовать путь к папке в качестве параметра (строки) для конвейера.

2. Используйте путь и действие «Получить метаданные» с «Дочерними элементами». Это вернет список файлов в формате JSON

   Получить выбор метаданных

3. Перейдите с помощью действия «Foreach» и выполните любое действие.

   Использовать выходные данные из действия метаданных в качестве элементов в операции Foreach (пример ниже)

@ activity ('Получить список файлов'). Output

Надеюсь, это поможет