Перебирать файлы в фабрике данных

Question

У меня Datalake 1-го поколения со структурой папок / Test / {currentyear} / {Files}

{Files} Пример формата 2020-07-29 .csv 2020-07-30.csv 2020-07-31.csv

Каждый день в папку добавляется один новый файл.

Мне нужно создать ADF для загрузки файлов в SQL сервер. COnditions

1. Когда мой ADF запускается в первый раз, ему необходимо выполнить итерацию всех файлов и загрузить на sql сервер
2. Когда ADF запускается со второго раза (ежедневно один раз), ему необходимо забрать только сегодняшний файл и загрузить на SQL сервер

Может ли кто-нибудь сказать мне, как создать ADF с вышеуказанными условиями

Answer 1

Он должен быть спроектирован как две части.

Когда мой ADF запускается в первый раз, ему нужно перебрать все файлы и загрузить на sql сервер

Вы должны создать временный конвейер, чтобы добиться этого (я думаю, вы знаете, как это сделать, поэтому об этой части я не буду говорить).

Когда ADF выполняется, начиная со второго раза (ежедневно один раз) ему нужно выбрать только текущий файл и загрузить на SQL сервер

Итак, вам нужно создать еще один конвейер, который непрерывно работает.

Две точки для достижения этого:

Во-первых, запускает этот конвейер по триггеру события (когда файл загружается, запускайте этот конвейер.)

Second, filter the file by specific format:

введите описание изображения здесь

По вашему требованию выражение должно быть @{formatDateTime(utcnow(),'yyyy-MM-dd')}.

Со своей стороны, я могу сделать это успешно. Пожалуйста, попробуйте на вашей стороне.