Перемещение данных SQL-сервера в Dynamics 365 CRM

Question

У меня есть более 500 таблиц на сервере SQL, которые я хочу переместить в Dynamics 365. До сих пор я использую SSIS.Проблема с SSIS заключается в том, что целевой объект динамического CRM должен указываться вместе с отображениями, и поэтому было бы глупо создавать отдельные потоки данных для объектов для сотен источников таблиц SQL-сервера.Есть ли лучший способ сделать это?

Я новичок в SSIS.Я не чувствую, что это правильный подход.Я просто имитирую мастер импорта / экспорта SQL сервера.Пожалуйста, дайте мне знать, если есть лучшие способы

Answer 1

Удивительно, как часто это спрашивают!

SSIS не может иметь динамические потоки данных, потому что размер буфера (конвейер) вычисляется во время разработки (в отличие от времени выполнения).

Единственный способ повторно использовать поток данных - это если все сопоставления источника и цели совпадают - например, если у вас есть 2 таблицы с одинаковой структурой DDL.

Один вариант (ужасноIMO) состоит в том, чтобы объединить все столбцы в массивную VARCHAR, разделенную конвейерами, а затем записать это по месту назначения в пользовательскую промежуточную таблицу с 2 столбцами, например (table_name, column_dump), а затем «распаковать» это в целевой системе через сообщение-Загрузить оператор SQL.

Я бы кусал пулю, надевал наушники и начинал чередовать потоки данных SSIS один за другим - вы будете удивлены, как быстро вы сможете их отбить!

Answer 2

ETL работает именно так.Вы должны сопоставить источник, назначение и отображение столбца.Если вы хотите, чтобы это было динамическим, это возможно в Execute SQL task внутри контейнера цикла foreach. Подробнее

Но когда мы используем целевой соединитель Kingswaysoft CRM - это немного сложно (может или не может быть возможно?), Поскольку для этого требуется очень специфическое сопоставление столбцов между источником и назначением.

Это также, когда исходная схема из OLEDB, лучше иметь отдельные задачи Dataflow для каждой таблицы.