Является ли формат строки serde обязательным параметром, который будет использоваться при создании таблицы Hive

Question

Я создал временную таблицу кустов поверх текстового файла следующим образом:

CREATE EXTERNAL TABLE tc (fc String,cno String,cs String,tr String,at String,act String,wa String,dn String,pnm String,rsk String,ttp String,tte String,aml String,pn String,ttn String) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ‘,’ 
STORED AS TEXTFILE 
location '/home/hbaseuser/tc';

Затем я создал таблицу ORC следующим образом:

CREATE EXTERNAL TABLE tc1 (fc String,cno String,cs String,tr String,at String,act String,wa String,dn String,pnm String,rsk String,ttp String,tte String,aml String,pn String,ttn String) 
Row format delimited 
Fields terminated by '\t'
STORED AS orc 
location '/user/hbaseuser/tc1';

Затем я использовал эту команду для импортаданные в таблицу кустов:

insert overwrite table tc1 select * from table tc;

теперь файл orc доступен на '/user/hbaseuser/tc1', и я могу читать из таблицы orc.

мой вопрос заключается в том, как использовать формат тега Rowserde 'org.apache.hadoop.hive.contrib.serde2.ORCSerDe'

Answer 1

Если указан ROW FORMAT Serde, он переопределяет нативный Serde и использует его для создания таблицы.Согласно документации,

Вы можете создавать таблицы с пользовательским SerDe или с использованием собственного SerDe.Нативный SerDe используется, если ROW FORMAT не указан или ROW FORMAT DELIMITED.Используйте предложение SERDE для создания таблицы с пользовательским SerDe.

STORED AS ORC оператор эквивалентен записи

 ROW FORMAT SERDE   'org.apache.hadoop.hive.ql.io.orc.OrcSerde'  
 STORED AS INPUTFORMAT  
 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'   OUTPUTFORMAT  
 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'

Вы можете использовать «Сохранено как» или «Строка».«Формат Серде»Вы можете обратиться к следующей документации для получения более подробной информации:

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RowFormats&SerDe

https://cwiki.apache.org/confluence/display/Hive/DeveloperGuide#DeveloperGuide-HiveSerDe