Чтение большого объема данных из файла CSV и XML с использованием верблюда Apache

Question

Можно ли прочитать большое количество файлов данных CSV и XML (примерно более 1 ГБ каждого файла), используя Apache Camel ?

Если какие-либо проблемы с производительностью или ограничения, связанные с этим делом, какие решения доступны от Apache Camel.

Answer 1

Проанализировав проблему, я нашел следующее решение.

Так что 1 ГБ - это не так уж много, если мы можем просто потратить достаточно памяти на Camel.

Это зависит от следующеговопрос

Нужны ли нам 1 ГБ одновременно для доступа или мы получаем доступ ко всем файлам в любом порядке?

Если нет, то мы должны были бы «передать» CSV /Файл XML, поэтому читайте как InputStream и затем последовательно получите то, что нам нужно.

CSV:

<camelContext xmlns="http://camel.apache.org/schema/spring">
<route>
    <from uri="direct:start"/>
    <split streaming="true">
        <tokenize token="\n"/>
        <to uri="mock:result"/>
    </split>
     <unmarshal><csv /></unmarshal>
</route>

XML:

 <camelContext xmlns="http://camel.apache.org/schema/spring">
  <route>    
    <from uri="direct:start"/>
    <split streaming="true">     
       <ref>staxRecord</ref>     
      <to uri="mock:result"/>
    </split>
  </route>
</camelContext>

Answer 2

Ответ о csv здесь ответ

Для использования большого XML-файла вы можете использовать http://camel.apache.org/stax.html