Streamsets: SpoolDIR_01 Не удалось обработать файл

Question

Привет. Я пытаюсь запустить конвейер для обработки очень большого файла (около 4 миллионов записей).Каждый раз, когда он достигает около 270 000, происходит сбой, а затем прекращается обработка записей и возвращается эта ошибка.

'/ FileLocation / FiLeNAME..DAT' в позиции '93167616': com.streamsets.pipeline.lib.dirspooler.BadSpoolFileException: com.streamsets.pipeline.api.ext.io.OverrunException: Считыватель превысил предел чтения '131072'.

Если у кого-то еще возникла подобная проблема, пожалуйста, помогите.Спасибо

Я проверил линии, где он останавливает конвейер, но там, кажется, нет ничего очевидного.Пробовал другой файл и все еще не работает.

'/ FileLocation / FiLeNAME..DAT' в позиции '93167616': com.streamsets.pipeline.lib.dirspooler.BadSpoolFileException: com.streamsets.pipeline.api.ext.io.OverrunException: Считыватель превысил предел чтения «131072».

Answer 1

Похоже, вы достигли максимального размера записи.Это ограничение установлено для защиты от плохо отформатированных данных, вызывающих ошибки «недостаточно памяти».

Проверьте конфигурацию формата данных и увеличьте Макс. Длина записи , Максимальная длина объекта , Макс. Длина линии и т. Д. В зависимости от используемого формата данных.

Подробнее см. В документации по каталогу Источник происхождения .В частности, обратите внимание, что вам, возможно, придется редактировать sdc.properties, если анализируемые записи превышают общесистемный лимит 1048576 байт.