ADF- Azure Data фабрика множественных фильтров - PullRequest
0 голосов
/ 20 апреля 2020

У меня есть условие, когда у меня есть более 2 типов файлов, которые я должен отфильтровать. Я могу отфильтровать 1 тип, используя подстановочный знак, что-то вроде: * .csv, но не могу сделать что-то вроде * .xls, * .zip.

У меня есть конвейер, который должен конвертировать файлы CSV, AVRO, DAT в .Parquet формат. Но в папке также есть файлы .zip, excel, powerpoint, и я хочу, чтобы они были отфильтрованы. Вместо того, чтобы использовать 3-4 действия, я нахожу, могу ли я каким-либо образом использовать (или) условие, чтобы отфильтровать несколько расширений, используя подстановочный знак фабрики данных?

1 Ответ

0 голосов
/ 21 апреля 2020

Динамическое c содержимое не может принимать несколько wildcards или Regular expression на основе моего теста.

enter image description here

Вы должны использовать несколько действий, чтобы соответствовать различным типам ваших файлов. Или вы можете обойти это решение, используя LookUp Activity + For-each Activity.

1.LookUp Activity загружает все имена файлов из указанной папки c. ( Дочерний элемент)

2.Проверьте формат файла в условии активности для каждого (используя заканчивается с встроенной функцией)

3.Если формат файла соответствует условие фильтра, затем go в ветку True и настройте его как динамический c путь набора данных в операции копирования.

...