WSO2 EI разбил огромный файл на более мелкий файл из 10000 строк

Question

Я хочу разбить один большой CSV-файл на более мелкие файлы по 10000 строк. Я не знаю, как работать с входным файлом на ФС, и использование памяти не увеличилось слишком сильно, а затем сделать файл CSV меньше. если менее 10000 строк, будет создан только один файл строк, я попытался выполнить поиск по wso2 do c и google, но, к сожалению, я нигде не нашел этот учебник. Я использую WSO2 EI 6.5. Можете ли вы помочь мне, пожалуйста, с этой проблемой?

Спасибо

Answer 1

Помимо того, что написал Shanaka, вы также можете использовать SMOOKS для достижения этой цели. Я использовал его для разделения больших XML-файлов на маленькие части. Это работает без проблем, может быть, вы хотите попробовать.

Более подробную информацию можно найти, например, здесь

Smooks EI6.5 - XML

Smooks ESB 5.0 - TXT

Answer 2

Чтобы разделить файлы CSV, вы можете просто использовать файловый соединитель. Документ [1] содержит инструкции по использованию операции разделения файла. Вы можете указать количество строк, источник и место назначения.

В дополнение к этому вы можете разработать проект посредника класса и разработать операцию разделения файлов в коде Java.

[1] - https://docs.wso2.com/display/ESBCONNECTORS/Working+with+the+File+Connector#WorkingwiththeFileConnector -splitFile

[2] - https://docs.wso2.com/display/EI650/Class+Mediator