Эта опция существует в Spark, и я увидел, что пиарроу write_table() принимает ** kwargs, но после .pyx я не смог отследить его до таких вещей, как мин / макс.
write_table()
.pyx
Поддерживается ли это, и если да, то как это достигается?
pyarrow уже записывает минимальную / максимальную статистику для файлов паркета по умолчанию.В pyarrow этого нет, поскольку базовая библиотека parquet-cpp записывает их всегда.На момент написания написано только минимальное и максимальное значения.Другие статистические данные не могут быть ни предоставлены, ни вычислены на лету с parquet-cpp.Когда они вам нужны, вы должны открыть проблему в (Py) Arrow tracker tracker и рассмотреть возможность добавления отсутствующего кода для этого.
pyarrow
parquet-cpp