Datastage: как улучшить производительность загрузки данных с оракула на сервер sql - PullRequest
Новая
       22

Datastage: как улучшить производительность загрузки данных с оракула на сервер sql

1 голос
/ 14 февраля 2012

Платформа IBM Datastage 8.1 RHEL4 16G MEM,4CPU16CORE. Когда я пытаюсь создать задание для загрузки данных из Oracle в SQL Server, задание выполняется правильно, но медленно. Число строк из исходной таблицы в Oracle составляет около 100 000 000, а скорость загрузки составляет всего 620 / с.

Как я могу улучшить скорость загрузки в этой работе?

Поток ниже: 

oracle EE stage -->  odbc stage [config the sqlserver odbc in .odbc.ini]

Конфигурация odbc: 

Driver=/opt/IBM/InformationServer/Server/branded_odbc/lib/VMmsss23.so
IANAAppCodePage=113
Description=DataDirect SQL Server Wire Protocol driver
Database=test
LogonID=datastage
Password=datacenter
Address=127.1.2.3,1433
QuotedId=No
AnsiNPW=No

Ответы [ 2 ]

2 голосов
/ 03 апреля 2012

  • Проверьте узкое место:

    1. Скопируйте исходный SQL и запрос в клиенте oracle, чтобы увидеть, сколько строк может ли он вернуться.

    2. Вставьте в целевой стол из небольшого стола, чтобы увидеть, является ли вставка узким местом.

    3. Если 1 и 2 не являются узким местом, проверьте, является ли это сложным вычислением в вашем преобразователе

По моему опыту, это слишком медленно по сравнению с аппаратным обеспечением, наиболее вероятным узким местом является исходным кодом SQL, и вы должны изучить его.

0 голосов
/ 03 апреля 2012

Используйте собственный драйвер IBM для SQL Server и включите массовую загрузку. Перезапустите работу. Не используйте универсальный драйвер odbc. Я думаю, что его назвали VMSSQL24.so

...