Правильное кодирование текста в массовом загрузчике - PullRequest
Новая
       39

Правильное кодирование текста в массовом загрузчике

1 голос
/ 06 июля 2011

Как правильно кодировать строки для массовой загрузки.Это в настоящее время выручает, когда это сталкивается с апострофом в моих текстовых полях.

Вот пример CSV-файла: 

demo,name,message
FALSE,one,"Welcome message"
FALSE,two,"If you’re having a medical emergency"

Вот мой bulkloader.yaml: 

transformers:
- kind: Message
  connector: csv
  connector_options:
   encoding: utf-8
   columns: from_header
  property_map:
   - property: demo
     external_name: demo
     import_transform: bool
   - property: name
     external_name: name
     import_transform: str
   - property: message
     external_name: message
     import_transform: str

Когда я запускаю загрузчик с примером, подобным этому (с апострофами)в тексте), я получу следующую ошибку ...

UnicodeEncodeError: кодек 'ascii' не может кодировать символ u '\ u2019' в позиции x: порядковый номер не в диапазоне (128)

Любая помощь приветствуется.

1 Ответ

2 голосов
/ 06 июля 2011

’ не является символом ASCII.Вы должны попробовать изменить преобразование свойства на import_transform: unicode

...