массовая загрузка в снежинку разрывается, когда поле содержит двойные кавычки - PullRequest
Новая
       10

массовая загрузка в снежинку разрывается, когда поле содержит двойные кавычки

0 голосов
/ 13 января 2020

Я загружаю данные из файла в S3, используя команду copy в команду, и у меня есть следующие параметры: 

file_format = (
 type = 'csv'
 field_delimiter = '~'
 FIELD_OPTIONALLY_ENCLOSED_BY= '"'
 EMPTY_FIELD_AS_NULL = TRUE
 NULL_IF=""
 ESCAPE_UNENCLOSED_FIELD = None)

Моя загрузка прерывается каждый раз, когда в поле появляются двойные кавычки. Я попытался заменить его на escape \ "и добавить escape = '\' к параметрам формата файла, но, похоже, ничего не работает. Может кто-нибудь предложить решение?

Спасибо,

1 Ответ

0 голосов
/ 13 января 2020 
Create or replace file format name
 file_format = (type = 'csv')
 field_delimiter = '~' 
 FIELD_OPTIONALLY_ENCLOSED_BY= '"' 
 EMPTY_FIELD_AS_NULL = TRUE 
 NULL_IF="" 
 ESCAPE_UNENCLOSED_FIELD = '\\'

Можете ли вы поделиться примером данных? Сжатый файл на S3 сжат?

СЖАТИЕ = АВТО

...