PDI - превышен предел накладных расходов GC

Question

Итак, у меня есть несколько вопросов о PDI и моем потоке Transformation.Исходя из моего транс-потока, я получаю сообщение об ошибке GC Overhead Limit Exceeded, и я уже ищу решение, такое как увеличение памяти для spoon.bat -Xms -Xmx2g, но оно не работает.Поэтому я думаю о альтернативном решении и думаю, что, возможно, мне следует изменить поток (Sorte Merge использовал много памяти и вызвал эту ошибку).Или, если у вас, ребята, есть другое решение для моей проблемы, пожалуйста, мне это действительно нужно.

Ниже - мой трансфот.Спасибо # SorryForMyGrammar

Мой поток трансформации

Answer 1

Вы можете пропустить все операции разделения и слияния, включив эту логику в шаг формулы.

Использовать IF (условие; A; B) , где условие - это тест, который вы определилив шаге строк фильтра, а A и B - существующие вычисления из соответствующих шагов формулы.Таким образом, каждая строка получает правильный расчет, и поток никогда не нужно объединять.

Answer 2

Вы уверены, что хотите добавить слияние, а не фиктивные или добавленные потоки для добавления строк?

Строки слияния фактически выполнят объединение.Если у вас много попаданий, когда ключи одного потока совпадают с ключами другого (или, что еще хуже, если у вас нет ключей, что приводит к перекрестному соединению), вы будете создавать кошмар с точки зрения количества элементов.

Что еще хуже, объединение слиянием не сможет завершиться, пока есть входные строки, поступающие из любого потока данных из строк фильтра, сохраняя огромный набор данных в памяти.

Если объединение действительно то, что вам нужно, вы должны тщательно проанализировать мощность набора результатов, но также добавить два шага Сортировать строки перед объединением слиянием, которое должно отсортировать каждый поток по ключам объединения, а также имеетВыгодно от разъединения потока данных, что позволяет объединению слиянием запускать весь поток за один раз, не вызывая потенциальных тупиков в вашем преобразовании.