Я включил свойство "spark.parquet.strings.signed-min-max.enabled" для работы с искрой.При проверке минимальной / максимальной паркетной статистики статическая статистика не вычисляется и не отображается для строковых столбцов для паркетных данных.
Я вижу следующее для строковых столбцов.VLE: PLAIN DICTIONARY ST: [нет статистики для этого столбца]
Я использовал следующую команду для проверки статистики:
hadoop jar parquet-tools-1.9.0.jar dump -d -n
Можно ли включить статистику для строковых столбцов?Если да, следует ли изменить какие-либо конфигурации или кодировку?Любые предложения приветствуются.Спасибо.