Получить список файлов после операции копирования фабрики данных Azure - PullRequest
0 голосов
/ 29 июня 2019

Существует ли метод, который дает мне список файлов, скопированных в хранилище озера данных Azure после операции копирования в фабрике данных Azure? Я должен скопировать данные из источника данных и после того, как мне нужно пропустить файлы на основе определенного условия. Условие должно проверять также путь к файлу и имя с другими данными из базы данных SQL. есть идеи?

1 Ответ

0 голосов
/ 01 июля 2019

На данный момент нет функции для получения списка файлов после операции копирования.Однако вы можете использовать действие get Metadata или действие Lookup и связать с ним действие Filter , чтобы получить список файлов на основе вашего состояния.

Есть обходной путь, который вы можете проверить здесь .

"В данном случае решение было на самом деле довольно простым. Я просто создал еще один конвейер в фабрике данных Azure, который был вызван событием Blob Created, и папка и имя файла были переданы в качестве параметров в мою записную книжку.работать хорошо, и требуется минимальное количество конфигурации или кода. С событием можно выполнить базовую фильтрацию, а остальное зависит от ноутбука.

Для всех, кто сталкивается с этим сценарием, подробности приведены ниже:

https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger"

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...