Как пропустить уже скопированные файлы в фабрике данных Azure, инструмент для копирования данных?

Question

Я хочу скопировать данные из хранилища BLOB-объектов (формат паркет) в базу данных cosmos. Запланированный триггер на каждый час. Но все файлы / данные копируются при каждом запуске. как пропустить файлы, которые уже скопированы?

Не существует уникального ключа с данными. Мы не должны копировать тот же самый файл снова.

Answer 1

Исходя из ваших требований, вы можете получить представление о свойствах modifiedDatetimeStart и modifiedDatetimeEnd в свойствах DataSet объектов хранения BLOB-объектов .

Но вам необходимо изменять конфигурацию набора данных каждый период времени с помощью sdk , чтобы значение значений свойств двигалось дальше.

Еще два решения, которые вы могли бы рассмотреть:

1.Использование Функция Azure для запуска BLOB-объектов . Может быть вызвано, если в файлах BLOB-объектов есть какие-либо изменения, тогда вы можете передавать данные из BLOB-объекта в космос с помощью кода SDK.

2. Используя Azure Stream Analytics . Вы можете настроить вход как хранилище BLOB-объектов и как Cosmos DB .