Azure: запуск действия фабрики данных при добавлении нового файла в хранилище озера данных

Question

У меня большой набор данных в хранилище озера данных Azure, и несколько файлов могут добавляться / обновляться там ежедневно.Как я могу обработать эти новые файлы, не читая весь набор данных каждый раз?Мне нужно скопировать эти новые файлы с помощью Data Factory V1 на сервер SQL.

Answer 1

Если бы вы могли использовать ADF V2, то вы могли бы использовать операцию получения метаданных, чтобы получить свойства lastModifiedDate каждого файла, а затем копировать только новые файлы.Вы можете сослаться на этот документ.https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity