Исторические наборы данных в первоначальной сборке - PullRequest
Новая
       106

Исторические наборы данных в первоначальной сборке

0 голосов
/ 04 февраля 2019

Проблема, с которой я сейчас сталкиваюсь, я считаю логичной и, возможно, ограничением SSIS.

Мои данные имеют набор учетных записей, в любой момент эта учетная запись может принадлежать организации.Эта комбинация контролирует мое историческое измерение "Account"

Например, 

╔════════════╦═══════════════╦════════════════╦════════════╦════════════╦═════════╗
║ AccountKey ║ AccountNumber ║ OrganisationSK ║ VaildFrom  ║ VaildTo    ║ Current ║
╠════════════╬═══════════════╬════════════════╬════════════╬════════════╬═════════╣
║ 1          ║ 2000          ║ 10             ║ 2000-01-01 ║ 2006-02-10 ║ N       ║
╠════════════╬═══════════════╬════════════════╬════════════╬════════════╬═════════╣
║ 2          ║ 2000          ║ 11             ║ 2006-02-10 ║ 2010-06-01 ║ N       ║
╠════════════╬═══════════════╬════════════════╬════════════╬════════════╬═════════╣
║ 3          ║ 2000          ║ 10             ║ 2010-06-01 ║ NULL       ║ Y       ║
╚════════════╩═══════════════╩════════════════╩════════════╩════════════╩═════════╝

. Это достаточно легко сделать, если я просто позволю SCD делать свое дело, это начальная загрузка.борясь с.

Используя SSIS в качестве инструмента ETL, могу ли я использовать внутреннее соединение, давая мне три записи, сортировать их по «ValidFrom», а затем передавать все три в SCD, и SSIS будет разбиратьсяиз?

В этих условиях, что люди делали в прошлом?

1 Ответ

0 голосов
/ 04 февраля 2019

Вы можете использовать внутреннее объединение в SSIS, используя преобразование слияния.Ссылка ниже:

Одним из требований для объединения слиянием является сортировка хотя бы одного столбца, к которому вы присоединяетесьиз обоих источников данных, чтобы вы могли отсортировать данные по требуемому столбцу «ValidFrom».

Затем можно подключить выход Merge Join к преобразованию SCD.

Обратите внимание, чтоПреобразование слиянием - это полублокирующее преобразование, поэтому производительность ETL может снизиться, если вы работаете с большим объемом данных.

...