UPSERT в SSIS

Question

Я пишу пакет служб SSIS для запуска на SQL Server 2008. Как вы выполняете UPSERT в службах SSIS?

IF KEY NOT EXISTS
  INSERT
ELSE
  IF DATA CHANGED
    UPDATE
  ENDIF
ENDIF

Answer 1

См. SQL Server 2008 - Использование объединения из служб SSIS . Я реализовал что-то вроде этого, и это было очень легко. Достаточно просто использовать страницу BOL Вставка, обновление и удаление данных с помощью MERGE .

Answer 2

Я бы посоветовал вам взглянуть на блог Мэтта Стивена по поводу наступления SQL Server.

SQL 2005 - UPSERT: По природе, но не по имени; но наконец!

Answer 3

Основными командами языка управления данными (DML), которые использовались на протяжении многих лет, являются «Обновить», «Вставить» и «Удалить». Они делают именно то, что вы ожидаете: Insert добавляет новые записи, Update изменяет существующие записи, а Delete удаляет записи.

Оператор UPSERT изменяет существующие записи, если записи отсутствуют, ВСТАВЛЯЕТ новые записи. Функциональность статистики UPSERT может быть достигнута двумя новыми наборами операторов TSQL. Это две новые

EXCEPT
INTERSECT

За исключением: -

Возвращает любые различные значения из запроса слева от операнда EXCEPT, которые также не возвращаются из правого запроса

Intersect: - Возвращает любые различные значения, которые возвращаются как запросом слева, так и справа от операнда INTERSECT.

Пример: - Допустим, у нас есть две таблицы: Таблица 1 и Таблица 2

Table_1 column name(Number, datatype int)
----------

1
2

3
4
5

Table_2 column name(Number, datatype int)
----------

1
2

5

SELECT * FROM TABLE_1 EXCEPT SELECT * FROM  TABLE_2 

вернет 3,4, поскольку он присутствует в Таблице_1, а не в Таблице_2

SELECT * FROM TABLE_1 INTERSECT SELECT * FROM  TABLE_2 

вернет 1,2,5, поскольку они присутствуют в обеих таблицах Table_1 и Table_2.

Все боли сложных объединений теперь устранены :-)

Чтобы использовать эту функцию в службах SSIS, все, что вам нужно сделать, добавить задачу «Выполнить SQL» и поместить туда код.

Answer 4

Другой способ создать upsert в sql (если у вас есть таблицы pre-stage или stage):

--Insert Portion
INSERT INTO FinalTable
( Colums )
SELECT T.TempColumns
FROM TempTable T
WHERE
(
    SELECT 'Bam'
    FROM FinalTable F
    WHERE F.Key(s) = T.Key(s)
) IS NULL

--Update Portion
UPDATE FinalTable
SET NonKeyColumn(s) = T.TempNonKeyColumn(s)
FROM TempTable T
WHERE FinalTable.Key(s) = T.Key(s)
    AND CHECKSUM(FinalTable.NonKeyColumn(s)) <> CHECKSUM(T.NonKeyColumn(s))

Answer 5

Помимо решений на основе T-SQL (и даже не помеченных как sql / tsql ), вы можете использовать задачу потока данных SSIS с объединением слиянием, как описано здесь (и в другом месте ).

Важнейшей частью является полное внешнее объединение в соединении слияния (если вы хотите только вставить / обновить, а также не удаляет левое внешнее объединение) ваших отсортированных источников.

с последующим условным разделением, чтобы узнать, что делать дальше: вставить в место назначения (которое также является моим источником), обновить его (с помощью команды SQL) или удалить из него (снова с помощью команды SQL).

1. INSERT: Если гид найден только у источника (слева)
2. ОБНОВЛЕНИЕ Если gid существует как на источнике, так и на месте назначения
3. УДАЛИТЬ: если гид не найден в источнике, но существует в пункте назначения (справа)

Answer 6

Я бы использовал задачу «медленно меняющееся измерение»

Answer 7

Я обычно предпочитаю, чтобы движок SSIS управлял слиянием дельты. Только новые элементы вставляются и изменяются обновляются. Если у вашего конечного сервера недостаточно ресурсов для управления сложными запросами, этот метод позволяет использовать ресурсы вашего сервера SSIS.