Медлительность при чтении данных MS SQL из ложки интеграции данных Pentaho - PullRequest
Новая
       19

Медлительность при чтении данных MS SQL из ложки интеграции данных Pentaho

0 голосов
/ 21 февраля 2019

Моя работа по интеграции данных в Пентахо (pdi-ce-7.1.0.0-12) занимает слишком много времени для чтения данных из MS SQL Server 2008 R2.Ложка PDI Сервер приложений установлен на сервере Windows.Сервер приложений для интеграции данных Pentaho и MS SQL Server находятся на разных IP-адресах сервера, но в одной и той же среде.

Пожалуйста, помогите мне ускорить мою работу по быстрому извлечению данных.

1 Ответ

0 голосов
/ 21 февраля 2019

Хорошее начало для такого рода проблем с медлительностью - это увеличение использования памяти PDI.Для этого вам нужно отредактировать ваш Spoon.bat (windows) / Spoon.sh (Linux).

В этом файле есть строка с этой информацией ...

if "%PENTAHO_DI_JAVA_OPTIONS% "==" "set PENTAHO_DI_JAVA_OPTIONS =" - Xms2048m "" -Xmx4096m "" -XX: MaxPermSize = 512m "

" - Xms2048m "- это сколько памяти будет начинаться с PDI.

"- Xmx4096m" - это количество памяти, которое MAX PDI будет использовать во время выполнения.

Эти числа указаны в мегабайтах, поэтому 2048m = ~ 2 ГБ ОЗУ

Лично я использую 2048m для запускаи 4096 м для максимального использования, и я запускаю процессы с 500 000 строк до почти 1 000 000 строк без проблем.

...