массовый загрузчик Listproperty utf8

Question

У меня проблема застряла у меня несколько дней, попробовал несколько способов, но до сих пор не могу ее решить.

Речь идет о загрузке данных с использованием CSV-файла в utf-8

.Py

class hello(db.Model):
    greeting = db.StringListProperty()  (or Listproperty(unicode))

class dbLoader(bulkloader.Loader):
    def __init__(self):
        bulkloader.Loader.__init__(self,'hello',
        [
        ('greeting', lambda x: x.decode('utf-8').split('|'))
        ])
loaders = [dbLoader]

data.cv содержит:

"Привет | 您好 | こ ん に ち は | ¡Hola | مرحبا | 안녕하세요"

сохраненная сущность, такая же как [u 'Здравствуйте, u, u60a8, u3053, u3093 ,306, u3061, ua, xa1Hola, u0645, u0631, u0628, u527.Символ ub155 \ ud558 \ uc138 \ uc694 '] неверен.

Что-нибудь еще для меня ... приветствуется!

Answer 1

Ваши данные импортируются правильно.Сохраненная сущность просто отображается в формате Python repr, который представляет строки Unicode с символами вне первых 127 в виде кодовых точек Unicode.Взяв второе поле, мы получим тот же результат с обычным Python в командной строке:

$ echo 您好 | python -c "import sys; print repr(sys.stdin.read().decode('utf8'))"
u'\u60a8\u597d\n'