У меня вопрос по SSIS:
- Источник: postgres
- Таблица: emp
Исходная таблица содержит 1 000 000 000 записей
- Цель: sqlserver
- Таблица: emp
Я хочу извлечь данные из Postgres и переместить их на SQL Server с помощью пакета служб SSIS
Я создал DSN для подключения к серверу postgres с помощью драйвера postresodbc.
Преобразование adonetsource на стороне пакета служб SSIS
Я использую этот запрос select * from emp в преобразовании adonetsource
Затем я изменил тип данных в соответствии с таблицей описания SQL Server emp, перетащил и оставил oledbdestination и настроился на таблицу SQL Server emp.
После этого я запускаю пакет. В таблицу SQL Server загружено только 100 тыс. Записей. Пакет завершается без ошибок. В исходном запросе (adonetsource) я не использовал условия where / limit
Почему было передано только 100 тыс. Записей?
В таблице emp у меня есть около 300 столбцов, и проверка занимает больше времени на стороне пакета ssis.
Если мы хотим загрузить полный 1 миллиард, то какой подход должен следовать, используя сторону пакета ssis. Каким рекомендациям мы должны следовать для загрузки (ежедневно) с помощью пакета ssis?