Я знаю, что могу управлять кодировкой словаря (чтобы сэкономить место) в Parquet с помощью конфигурации:
sparkSession.sqlContext.setConf(“parquet.enabled.dictionary”, “true”)
Пытается ли Parquet использовать кодировку словаря для перечислимых значений в сложном столбце?
В моем случае я сохраняю массив с помощью Spark, который содержит как «обычные» значения (целые, et c), так и перечислимые значения, поэтому столбец в целом не соответствует критериям словаря .