Фабрика данных Azure - инкрементная загрузка до Azure озера данных

Question

Я хочу иметь шаблон инкрементальной нагрузки для исходной системы, в которой нет полей аудита, в которых указано, когда в последний раз изменялась запись. Пример: Lasted Modified on (date time)

Но эти таблицы определяются с помощью первичных ключей и уникальных ключей, которые используются приложением для обновления записи при любых изменениях атрибута.

Теперь вопрос заключается в том, как определить ежедневные данные Delta и загрузить их в Azure Озеро данных, используя Azure Фабрика данных / Блоки данных.

Должен ли я подготовить полный набор данных за текущий день и текущий день -1 и определить дельты, используя значения ha sh?

Или есть способ получше?

Answer 1

Поскольку эта база данных не огромна по размеру, в конечном итоге она создала конвейер, в котором она загружает полный набор данных в sql стадию, а затем записывает обратно в озеро данных в соответствующее местоположение для набора начальной загрузки, а затем переводит sql в предыдущий день. схемы.

Далее для следующего инкремента он считывает полный набор данных в sql стадию, а затем сравнивает с набором данных PreviousDays, получает измененные записи и записывает данные в озеро данных в соответствующее инкрементное местоположение. Затем отбрасывает существующий набор данных PreviousDay и переводит промежуточный набор данных на previousDay, чтобы он был готов к следующему добавочному.