Как усечь объекты Dynamics 365 с фабрикой данных (и скопировать в озеро данных Azure)?

Question

В настоящее время я использую фабрику данных для массового копирования объектов из Dynamics 365 в озеро данных Azure.Объекты сохраняются как файлы CSV в озере данных каждые 24 часа.

Вместо массового копирования я хотел бы обрезать сущности до новых данных и добавить файлы, которые уже существуют в озере данных.

Я думаю, что это обычная операция для баз данных SQL, но может ли это быть сделано между Dynamics 365 и озером данных?

Answer 1

Хранилище Azure Data Lake Gen2 как тип источника поддерживает только три режима копирования.

Я попробовал три варианта поведения, но все они не смоглипоможет вам добавить файлы, которые уже существуют в озере данных.Если вы выберете существующий файл, то после завершения активной копии существующий файл будет перезаписан.

Более подробно вы можете сослаться на: Хранилище озера данных Azure Gen2 в качестве типа источника .

Это невозможно сделать между Dynamics 365 и озером данных с помощьюФабрика данных Azure.

Спасибо за то, что Джеймс Вуд предоставил нам хорошее решение.И совместите мой ответ и его, проблема будет решена.

Надеюсь, это поможет.

Answer 2

Вы можете добавить фильтр к своим запросам, чтобы получить те записи, которые были изменены за последние 24 часа.

Кроме того, вы можете настроить Dynamics для репликации своих данных во внешнюю базу данных SQL.

Репликация данных в базу данных SQL Azure