Улей: Как обрабатывать файлы, которые имеют разделитель в файле данных?

Question

У меня есть следующие данные, которые нужно вставить в таблицу улья. Данные имеют разделитель по умолчанию в файле. Как вставить в улей таблицу?

10,Andrew,Man”,”ager,DE,PC
11,Arun,Manager,NJ,PC
12,Harish,Sales,NJ,MAC
13,Robert,Manager,PA,MAC
14,Laura,Engineer,PA,MAC

Спасибо! * * 1004

Answer 1

Попробуйте использовать CSV Serde

create table test_table(id int,...)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
   "separatorChar" = ",",
   "quoteChar"     = "”",
   "escapeChar"    = "\\"
)

изменить quoteChar на основе данных

Answer 2

У вас есть два варианта: сначала вы можете использовать "|" (трубу) в качестве разделителя, а затем вставить в таблицу улья, в противном случае вам нужно заключить поля данных в двойные кавычки " ", а затем использовать OpenCSV Serde при создании DDL. для вашего стола Hive. Теперь вы можете запросить таблицу, и Hive правильно отобразит данные.