Как заставить PyYAML загружать строки как объекты Unicode? - PullRequest
27 голосов
/ 23 мая 2010

Пакет PyYAML загружает немаркированные строки как объекты Unicode или Str, в зависимости от их содержимого.

Я хотел бы использовать объекты Unicode во всей моей программе (и, к сожалению, пока не могу перейти на Python 3).

Есть ли простой способ заставить PyYAML всегда загружать строки в кодировке Unicode? Я не хочу загромождать свой YAML тегами !!python/unicode.

# Encoding: UTF-8

import yaml

menu= u"""---
- spam
- eggs
- bacon
- crème brûlée
- spam
"""

print yaml.load(menu)

Выход: ['spam', 'eggs', 'bacon', u'cr\xe8me br\xfbl\xe9e', 'spam']

Я хотел бы: [u'spam', u'eggs', u'bacon', u'cr\xe8me br\xfbl\xe9e', u'spam']

Ответы [ 2 ]

24 голосов
/ 03 июня 2010

Вот версия, которая переопределяет обработку строк PyYAML, всегда выводя unicode. В действительности это, вероятно, тот же результат, что и в другом ответе, который я опубликовал, за исключением более короткого (т.е. вам все равно нужно убедиться, что строки в пользовательских классах преобразованы в unicode или переданы unicode строки самостоятельно, если вы используете пользовательские обработчики):

# -*- coding: utf-8 -*-
import yaml
from yaml import Loader, SafeLoader

def construct_yaml_str(self, node):
    # Override the default string handling function 
    # to always return unicode objects
    return self.construct_scalar(node)
Loader.add_constructor(u'tag:yaml.org,2002:str', construct_yaml_str)
SafeLoader.add_constructor(u'tag:yaml.org,2002:str', construct_yaml_str)

print yaml.load(u"""---
- spam
- eggs
- bacon
- crème brûlée
- spam
""")

(Выше приведено [u'spam', u'eggs', u'bacon', u'cr\xe8me br\xfbl\xe9e', u'spam'])

Я не проверял его на LibYAML (синтаксический анализатор на основе c), так как не смог его скомпилировать, поэтому оставлю другой ответ таким, какой он был.

3 голосов
/ 03 июня 2010

Вот функция, которую вы можете использовать для замены str типами unicode из декодированного вывода PyYAML:

def make_str_unicode(obj):
    t = type(obj)

    if t in (list, tuple):
        if t == tuple:
            # Convert to a list if a tuple to 
            # allow assigning to when copying
            is_tuple = True
            obj = list(obj)
        else: 
            # Otherwise just do a quick slice copy
            obj = obj[:]
            is_tuple = False

        # Copy each item recursively
        for x in xrange(len(obj)):
            obj[x] = make_str_unicode(obj[x])

        if is_tuple: 
            # Convert back into a tuple again
            obj = tuple(obj)

    elif t == dict: 
        for k in obj:
            if type(k) == str:
                # Make dict keys unicode
                k = unicode(k)
            obj[k] = make_str_unicode(obj[k])

    elif t == str:
        # Convert strings to unicode objects
        obj = unicode(obj)
    return obj

print make_str_unicode({'blah': ['the', 'quick', u'brown', 124]})
...