Azure Копирование фабрики данных из папки и далее - PullRequest
Новая
       84

Azure Копирование фабрики данных из папки и далее

3 голосов
/ 18 марта 2020

Я пытаюсь создать операцию копирования между двумя Azure озерами данных GEN1. Мне не нужно копировать все папки из исходного озера данных, например, если у меня следующая структура каталогов: 

rootFolder/subfolder/2015
rootFolder/subfolder/2016
rootFolder/subfolder/2017
rootFolder/subfolder/2018
rootFolder/subfolder/2019
rootFolder/subfolder/2020

Я бы просто хотел скопировать данные из папок, начиная с 2017 года.

Есть ли способ реализовать это автоматически, не указывая поле в качестве параметра и не устанавливая его при запуске конвейера?

1 Ответ

1 голос
/ 19 марта 2020

Использование Получение метаданных Активность, Для каждой операции , Если условие Активность может реализовать ваше требование. Пожалуйста, обратитесь к моей идее:

Во-первых, мои тестовые файлы находятся в ADLS, как показано ниже:

enter image description here

test1.json в 2016 году, test2.json в 2017 году, test3.json в 2018 году

В АПД, 1-й слой:

enter image description here

Набор данных для операции получения метаданных:

enter image description here

enter image description here

Конфигурация для каждого вида деятельности:

enter image description here

Затем, 2-й слой:

enter image description here

enter image description here

Наконец, 3-й слой:

enter image description here

Исходный набор данных в операции копирования:

enter image description here

Результат теста, только test1 и test2 были извлечены.

enter image description here

Итак, это работает для меня. Любая проблема, пожалуйста, дайте мне знать.

...