Могут ли ParquetWriter или AvroParquetWriter хранить схему отдельно? - PullRequest
Новая
       96

Могут ли ParquetWriter или AvroParquetWriter хранить схему отдельно?

0 голосов
/ 21 апреля 2020

Знаете ли вы, может ли ParquetWriter или AvroParquetWriter хранить схему отдельно без данных?

Теперь схема записывается в файл паркета: 

AvroParquetWriter.Builder builder = AvroParquetWriter.<GenericRecord>builder(new Path(file.getName()))
            .withSchema(payload.getSchema())
            .build90;

Знаете ли вы, что возможна запись только данных без схема в паркетный файл? Спасибо!

1 Ответ

1 голос
/ 22 апреля 2020

@ ЭльфияВалиева. Нет, метаданные паркета (схема) в нижнем колонтитуле необходимы для того, чтобы предоставить читателям паркета необходимую схему для чтения данных паркета.

...