Azure Копирование фабрики данных между ADL с динамическим c путем - PullRequest
Новая
       73

Azure Копирование фабрики данных между ADL с динамическим c путем

0 голосов
/ 16 марта 2020

Я пытаюсь создать операцию копирования между двумя Azure озерами данных GEN1. Я должен сделать копию по пути, где одна из подпапок является переменной, например: 

rootFolder/subFolder1/*/subFolder3

, где * может принимать разные значения, и копия должна быть сделана автоматически для всех этих возможных значений, поэтому не стоит устанавливать эту подпапку в качестве параметра и запускать конвейер столько раз, сколько допустимых значений.

Я хотел бы знать, есть ли способ автоматически выполнить эту операцию копирования, я новый для Azure и ADF.

1 Ответ

1 голос
/ 17 марта 2020

Этого можно достичь, используя фильтрацию по шаблону в настройках источника вашей операции копирования.

Установить путь к папке подстановочного знака = rootFolder/subFolder1/*/subFolder3 Имя файла подстановочного знака = * или *. json или * .txt или * .csv .., et c в зависимости от ваших требований.

Например :

enter image description here

Чтобы узнать больше о результирующем поведении пути к папке и имени файла с фильтры подстановочных знаков, пожалуйста, обратитесь к этой MS Do c: https://docs.microsoft.com/azure/data-factory/connector-azure-data-lake-store#folder -and-file-filter-examples

Вот несколько тем, связанных с похожим требованием, которые могут быть полезно :

https://social.msdn.microsoft.com/Forums/en-US/d2b6c77b-c6de-4369-94ba-5a0c7e31a510/iterate-to-every-single-folder-and-each-files-into-a-single-csv?forum=AzureDataFactory#c9696acd -39d0-491f-8ced-7bf135b82c10

https://social.msdn.microsoft.com/Forums/en-US/00c93358-0291-44d9-96d8-266fadc7fd47/copy-data-to-separate-directory-based-on-folder-name?forum=AzureDataFactory

...