Документация для библиотеки Parquet-mr java

Question

Мне нужно использовать библиотеку Parquet-mr для программного чтения файлов Parquet на Java.Мне нужно выборочно прочитать несколько столбцов и пропустить другие столбцы (например, прочитать 3 столбца из 500 столбцов).Я не могу найти документацию о том, как это сделать.Может кто-нибудь, пожалуйста, указать мне на один, если таковой имеется?

Answer 1

К сожалению, это не слишком хорошо задокументировано. Есть несколько примеров, которые вы можете проверить здесь . Однако они используют класс ExampleParquetWriter из Parquet, который должен использоваться только в качестве примера. Тем не менее, это работает.

Правильный способ использовать Parquet - использовать одну из поддерживаемых объектных моделей (например, Avro, Thrift или Protobuf) или реализовать собственную объектную модель (которая обеспечивает наилучшую производительность). Вы можете прочитать больше о объектных моделях здесь .