Pyarrow Parquet раздел без включения столбца раздела в данные - PullRequest
0 голосов
/ 28 марта 2020

Я вижу, с помощью spark [1] вы можете исключить столбцы разделов из фактических данных в файлах паркета. Когда я делю раздел с помощью pyarrow, используя write_to_dataset, он все равно сохраняет столбец, на который я разделен. Есть ли способ исключить столбец раздела из данных?

[1] Удаление столбцов раздела при записи паркета в pyspark

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...