Повышение производительности при загрузке столбца clob в таблице Oracle из столбца varchar (max) в таблице SQL Server при использовании интегратора данных pentaho

Question

Я пытаюсь загрузить несколько миллионов записей из таблицы SQL Server (в которой есть пара целочисленных столбцов и столбец varchar(max)) в таблицу Oracle идентичной структуры, в которой столбец clob получает текст varchar(max).

Используемый мной инструмент ETL - интеграция данных (PDI) в Пентахо с использованием простого преобразования.При выполнении преобразования скорость чтения / записи записи составляет 150 об / с.Но когда я не включил столбец CLOB в шаг вывода таблицы, скорость была 5000r / s.Есть ли способ улучшить целевую скорость записи?

Answer 1

Ну, на самом деле, я мог бы поспорить, что это не целевая проблема, иначе проблема источника. Примите во внимание, что текст с размером clob должен быть большим текстом, поэтому проблема может быть в извлечении его из источника.

Вы можете попробовать «Вывод текстового файла» записать содержимое в текстовый файл, а затем отправить его в целевую базу данных. В некоторых случаях установка размера пакета помогает улучшить сценарий вставки. Все зависит от шагов, которые вы используете для достижения своей цели.