получить последний добавленный файл в папку [Azure Data Factory] - PullRequest
1 голос
/ 06 марта 2020

Внутри озера данных, у нас есть папка, которая в основном содержит файлы, загружаемые внешним источником каждый день. Однако мы хотели обработать только последний добавленный файл в этой папке. Есть ли способ добиться этого с помощью Azure фабрики данных?

Ответы [ 2 ]

1 голос
/ 06 марта 2020

Вы можете установить ifiedDatetimeStart иifiedDatetimeEnd для фильтрации файлов в папке, когда вы используете ADLS-соединитель в операции копирования.

Возможно, это имеет две ситуации:

1 . Данные были выдвинуты внешним источником в расписании . Предполагается, что вы знаете время расписания для настройки.

2. Частота равна в случайном порядке , тогда, возможно, вам нужно записать время отправки данных в другое место жительства, а затем передать это время в качестве параметра в конвейер операций копирования перед его выполнением.


Я пытаюсь предоставить поток для вас в конвейерах ADF, как показано ниже:

Мои файлы примеров в той же папке:

enter image description here

Шаг 1, создайте две переменные, maxtime и имя файла:

maxtime является критической датой-временем для указанных c даты, имя файла - пустая строка.

enter image description here

Step2, используйте GetMetadata Activity и ForEach Activity для получения файлов в папке.

enter image description here

Конфигурация GetMetadata 1:

enter image description here

Конфигурация ForEach Activity:

enter image description here

Шаг 3: Внутри ForEach Activity используйте GetMetadata и If-Condition, структура, как показано ниже:

enter image description here

Конфигурация GetMetadata 2 :

enter image description here

Конфигурация действия If-Condition:

enter image description here

Step4 : Внутри If-Condition Истинная ветвь, используйте Set Variable Activity:

enter image description here

Установить переменную1 в конфигурации:

enter image description here

Установить конфигурацию variable2:

enter image description here

Все вышеперечисленные шаги направлены на поиск самого последнего fileName, переменная fileName точно target.


Добавление еще одного нового набора данных в GetMetadata 2

enter image description here

0 голосов
/ 06 марта 2020

Вы можете использовать Модифицированные поля даты и времени и Модифицированные даты и времени , как показано на скриншоте ниже.

В данном примере показано получение файлов за 24 часа с текущей даты и времени.

enter image description here

...