Автоматический выбор разделителя при использовании csv-serde - PullRequest
Новая
       60

Автоматический выбор разделителя при использовании csv-serde

0 голосов
/ 02 июля 2018

Создали таблицу, используя: 

 )   
ROW FORMAT SERDE 'com.bizo.hive.serde.csv.CSVSerde'
with serdeproperties(
"field.delim"="|"
)

Когда я попытался загрузить файл с разделителями-запятыми, он был загружен правильно. Как это возможно, если я настроил канал в качестве разделителя для данных? Есть ли у csv-Serde «умный» способ определения разделителя?

1 Ответ

0 голосов
/ 02 июля 2018

Согласно документации действительные свойства CSVSerde 

   "separatorChar" = "\t",
   "quoteChar"     = "'",
   "escapeChar"    = "\\"

Разделитель по умолчанию, кавычки и экранирующие символы, если не указан 

DEFAULT_ESCAPE_CHARACTER \
DEFAULT_QUOTE_CHARACTER  "
DEFAULT_SEPARATOR        ,

field.delim не поддерживается свойство, которое игнорируется и использует настройки по умолчанию. Это свойство действительно для другого SerDe MultiDelimitSerDe

...