Извлечение данных из таблицы Greenplum порядка 600 миллионов в Apache NiFi приводит к превышению предельного объема служебных данных GC

Question

Я пытаюсь получить данные из таблицы Greenplum, используя Apache NiFi - QueryDatabaseTableRecord.Я вижу, что превышен предел издержек GC, и веб-страница NiFi перестает отвечать на запросы.

Я установил для свойства 'Fetch Size' значение 10000, но, похоже, в этом случае оно не используется.

Другие настройки:

• Тип базы данных: Универсальный
• Макс. Число строк в файле потока: 1000000
• Размер выходной партии: 2
• мин. / Мин.максимальное выделение памяти составляет 4 г / 8 г

Есть ли альтернатива, чтобы избежать ошибок GC для этой задачи?

Answer 1

Это явный случай, когда параметр «Размер выборки» не используется, см. Информацию об этом процессоре.Попробуйте самостоятельно проверить jdbc setFetchsize, чтобы убедиться, что он работает.