Инкрементальная нагрузка служб SSIS - 15 минут - PullRequest
0 голосов
/ 09 апреля 2020

У меня есть 2 таблицы. Исходная таблица принадлежит связанному серверу, а таблица назначения - другому серверу. Я хочу, чтобы загрузка данных происходила следующим образом: 1. Каждый день по ночам я планировал задание на создание полного дампа, т.е. усечение таблицы и загрузку всех данных из источника в место назначения. 2. Каждые 15 минут выполнять добавочную загрузку, поскольку данные попадают в источник на второй основе. Мне нужно повторить то же самое на месте назначения тоже.

Для добавочной загрузки на данный момент я создал сценарии, которые хранятся в хранимой процедуре, но для будущих целей мы хотели бы реализовать SSIS для этого случая.

Сценарии выполняются следующим образом: у меня есть столбец Inserted_Date , на основе этого столбца я беру максимум этого столбца и удаляю все строки, которые больше или равны до Max (Inserted_Date) и вставьте все аналогичные значения из источника в место назначения. Эта работа длится 15 минут.

Пожалуйста, предложите, как реализовать подобный сценарий в SSIS. Я работал над службами SSIS, используя поиск и условное разбиение, используя столбцы идентификаторов, но в этих таблицах, с которыми я работаю, много строк, поэтому поиск занимает много времени, и это неправильное решение для реализации в моем сценарии.

Можно ли как-нибудь получить Макс (Inserted_Date) logi c в решение SSIS. Моя конечная цель - удалить подход с использованием сценариев и повторить тот же подход с использованием служб SSIS.

Спасибо.

1 Ответ

0 голосов
/ 09 апреля 2020

Вот общий поток управления:

enter image description here

Здесь достаточно go, но вам может понадобиться научиться устанавливать переменные от казни SQL и т. д.

...