Сжатие кустов при создании таблицы и значения параметров сжатия сеансов кустов - PullRequest
Новая
       93

Сжатие кустов при создании таблицы и значения параметров сжатия сеансов кустов

0 голосов
/ 26 февраля 2020

Даже если я создаю таблицы кустов (как внутренние, так и внешние) со специфицированным сжатием c во время создания таблицы, при загрузке данных (вставка в выбор таблицы) параметры сжатия сеанса улья переопределяют значение сжатия, установленное при создании таблицы, как этого избежать?

метод создания таблицы: 1 с мгновенным сжатием 

create external table someschema.table1(
id int,
firstname string,
lastname string,
)
row format delimited 
fields terminated by ','
STORED AS INPUTFORMAT  'org.apache.hadoop.io.compress.SnappyCodec'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
location '/user/cloudera/table1'

метод создания таблицы: 2 с сжатием BZIP 

create external table hiveschema.table2(
id int,
firstname string,
lastname string)
row format delimited 
fields terminated by ','
stored as textfile
location '/user/cloudera/table2'
TBLPROPERTIES ("orc.compress"="BZIP")

параметры сеанса, перекрывающие сжатие установить на уровне стола 

SET mapreduce.output.fileoutputformat.compress.codec=<some compression codec>
SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress=true;
...