Я вижу, с помощью spark [1] вы можете исключить столбцы разделов из фактических данных в файлах паркета. Когда я делю раздел с помощью pyarrow, используя write_to_dataset, он все равно сохраняет столбец, на который я разделен. Есть ли способ исключить столбец раздела из данных?
[1] Удаление столбцов раздела при записи паркета в pyspark