Зависание ввода текста в Pentaho - PullRequest
0 голосов
/ 17 февраля 2020

Я получил TextFile, в котором данные анализируются в определенном формате на строку.

Это один из многих, и этот довольно маленький, всего 34504 строки. Размер 274КБ. Та же проблема возникает с каждым из них.

Я использовал шаг ввода текстового файла и поместил $ {line.seperator} в качестве разделителя (на самом деле не нашел его в списке переменных, но нашел в другие ответы на разрывы строк). Get Fields дал мне Field_00, а в Preview было показано все данные в каждой строке, как я хотел.

Теперь, если я хочу выполнить Преобразование, оно застревает на этом шаге и не заканчивается sh. Я помещаю Шаг записи в файл журнала после того, как он никогда не будет достигнут, и даже один Шаг никогда не завершится. Даже изменение файла с «filename.ges» на «.txt» или «.csv» не меняет результат.

Если я остановлю преобразование, он перейдет в состояние бесконечной остановки, и мне нужно перезапустить PDI.

Я также поднял Java MaxPermSize в spoon.bat, потому что впервые получил исключение нулевого указателя:

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=8000m"

Версия PDI 8.3.0.0-371

У кого-нибудь есть идеи, как мне решить эту проблему?

Содержание шага и строки предварительного просмотра: enter image description here

1 Ответ

1 голос
/ 18 февраля 2020

Вы настраиваете поле разделитель со значением строка разделитель. Вероятно, он пытается создать одну строку из 34504 строк символов.

Если вы хотите читать строки в одно поле каждое, используйте тип файла с фиксированной шириной (верхний элемент в конфигурации) и определите 1 поле длиной 9999999999 или любое другое подходящее значение.

...