Как использовать или c .Writer writeIntermediateFooter () - PullRequest
Новая
       104

Как использовать или c .Writer writeIntermediateFooter ()

0 голосов
/ 20 марта 2020

Как я понимаю, writeIntermediateFooter () - это функция, которая может добавлять чередование без закрытия файла. Но это не работает, как я думаю. 

val r = OrcFile.createReader(Path("old-file"),OrcFile.readerOptions(fs.conf))
val schema = r.schema

val w = OrcFile.createWriter(Path("new-file"),OrcFile.writerOptions(fs.conf).setSchema(schema))

val b = schema.createRowBatch()
val reader = r.rows()
while(reader.nextBatch(b)) {
    w.addRowBatch(b)
    w.writeIntermediateFooter()
    b.reset()
    logger.info("size={}",fs.getFileStatus(Path("new-file")).len)
}

Я ожидаю, что длина "нового файла" увеличивается с каждой регистрацией.

...