Я конвертирую некоторые данные json из 1 таблицы в формат ORC в другой таблице.Я попытался поэкспериментировать с некоторыми значениями для orc.compress.size, но заметил, что в результирующих файлах orc используется размер фрагмента сжатия 128K (кажется, значение по умолчанию).Установка более низкого значения, например, 64 КБ работала, но не большего значения, например 256 КБ.Попытался добавить это свойство таблицы orc.buffer.size.enforce=true, но это также не помогло.
Нашел этот тикет: https://issues.apache.org/jira/browse/HIVE-13563, где значения по умолчанию, кажется, соответствуют тому, что я нашел.Однако до сих пор не ясно, можно ли установить значение конфигурации.
Я использую emr 5.16.0.В таблицах используется сжатие ZLIB.
Как установить размер фрагмента сжатия на более высокие значения, например 256 КБ?Зависит ли это от каких-то других настроек улья / орка, о которых я не знаю?