Я должен принять дополнительную нагрузку с использованием фабрики данных - PullRequest
0 голосов
/ 13 марта 2019

У меня есть дополнительная загрузка данных, в которой у меня нет отметки времени в данных, как я могу это сделать.

1 Ответ

0 голосов
/ 15 марта 2019

Вы должны будете либо:

A. Определите поле в каждой таблице, которую вы хотите использовать, чтобы определить, изменилась ли строка B. Реализация какой-либо функции захвата изменений в исходных данных

Это действительно единственные два способа ограничить объем данных, которые вы извлекаете из источника.

Это было бы не очень эффективно, но если вы просто пытаетесь не обновлять строки, которые не изменились в вашем месте назначения, вы можете хешировать исходные значения и хэшировать значения в месте назначения, и только вставлять / обновлять строки где хэши не совпадают. Вот пример того, как это работает в T-SQL.

В документации фабрики данных есть раздел , посвященный пошаговой загрузке данных. Пожалуйста, проверьте это, если у вас нет.

...