Скопируйте только последний файл из хранилища озера данных Azure с помощью фабрики данных Azure (ADF).

Question

Я пытаюсь скопировать данные из хранилища озера данных Azure, выполнить некоторую обработку и переместить их в другую папку в том же озере данных с помощью фабрики данных Azure.Исходные данные организованы по году, месяцу и дате.Я только хочу копировать последний файл каждый день и продолжаю заменять его.Как я могу сделать это с помощью ADF?Я вижу некоторые ответы об использовании дат начала и конца среза, но это все равно будет означать указание дат в файле JSON.Как я могу изменить эти даты автоматически?

Answer 1

Предполагается, что вы используете ADFv2.

Я вижу некоторые ответы об использовании дат начала и конца среза, но это все равно будет означать указание дат в файле JSON.Как я могу изменить эти даты автоматически?

Это путь, это автоматически.Вы не должны давать даты в конвейере.Вы параметризуете дату и присоединяете конвейер к триггеру окна Tumbling и используете системные переменные триггера @trigger (). Output.windowStartTime.Так что теперь триггер будет давать даты.

Затем вы можете планировать триггер каждые 24 часа, чтобы ваш триггерный оконный триггер проходил @trigger (). Output.windowStartTime, например, 2019/02/13 (вы можетеотформатируйте дату так, как вам нужно, на основе структуры вашего набора данных - параметры форматирования, доступные в ADF) для конвейерного действия и попросят это действие прочитать из azuredatalake / 2019/02/13 / file.txt

Следуйте этому Док , чтобы получить представление.