Чтение и обработка файла CSV от чанка к чанку - PullRequest
Новая
       27

Чтение и обработка файла CSV от чанка к чанку

0 голосов
/ 19 июня 2019

Я конвертирую CSV-файл в XML-файл, используя Apache Beam и объект JAXB, TextIO.read () читает весь файл и возвращает PCollection, возможно ли определить процесс чтения размером в 10 строк, затем добавить в xml-файл, затем прочитать далее 10 таких строк 

PCollection<String> input = pipeline.apply(TextIO.read().from("/input.data"));
PCollection<String> output = input.apply(ParDo.of(new CSVToXMLConverter()));
 output.apply(TextIO.write().to(options.getOutput()).withFooter(Constants.XML_FOOTER));
pipeline.run().waitUntilFinish();
...