Рассмотрим таблицу орков в улье с разделом в столбце dt_month, в котором содержатся все строки дней в месяце (txn_dt).
Сокращение раздела будет работать, когда я, когда я введу предложение where непосредственно на dt_month, как показано ниже.
df = spark.table("table")
df.where("dt_month = '2018-01-01'")
Но есть ли возможность для меня собирать статистику на уровне разделов и обрезать разделы при фильтрации на txn_dt (это столбец, из которого происходит dt_month), потому что есть некоторые переходные свойства, к которым это относится столбец раздела?
df = spark.table("table")
df.where("txn_dt = '2018-01-01'")
Можем ли мы сделать так, чтобы этот запрос не проходил по всей таблице и опирался на индексы orc, а только на раздел 2018-01-01, а затем использовал индекс orc?