Как использовать колонку, индексированную в паркете, чтобы отфильтровать строки перед чтением в панды?

Question

Паркет имеет Индексы столбцов с 2018 года, однако я не могу найти ни одного пакета, который использовал бы индекс столбцов Паркет для фильтрации строк и загружал только те строки, которые удовлетворяют некоторому условию (или предикату) впанды?

Есть ли способ "эксплуатировать" индексы колонны паркета? В pandas.read_parquet(..., index_columns = [value1, value2]) и т. Д.

Answer 1

Функция индексации столбцов была реализована в 2018 году, но еще не была выпущена. В JIRA, которую вы связали, вы можете видеть, что версия исправления установлена ​​на 1.11.0, но по состоянию на октябрь 2019 года последний выпуск - 1.10.1 .