Безопасный сброс и загрузка defaultdict с ruamel.yaml - PullRequest
Новая
       13

Безопасный сброс и загрузка defaultdict с ruamel.yaml

0 голосов
/ 23 октября 2018

Я пытаюсь (де) сериализовать классы, которые имеют collections.defaultdict свойства с ruamel.yaml в Python (3.6+ в моем случае).

Это было быминимальный пример, который я хотел бы получить для работы: 

from collections import defaultdict
import ruamel.yaml
from pathlib import Path

class Foo:
    def __init__(self):
        self.x = defaultdict()


YAML = ruamel.yaml.YAML(typ="safe")
YAML.register_class(Foo)
YAML.register_class(defaultdict)

fp =  Path("./test.yaml")
YAML.dump(Foo(), fp)
YAML.load(fp)

Но это терпит неудачу с:

AttributeError: 'collections.defaultdict' object has no attribute '__dict__'

Любые идеи, которые не требуют написания пользовательского кода длякаждый "Foo-подобный" класс?Я надеялся, что смогу добавить другой представитель для defaultdict объектов, но мои попытки пока тщетны.

Полный возврат: 

Traceback (most recent call last):
File "./tests/test_yaml.py", line 18, in <module>
    YAML.dump(Foo(), fp)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\main.py", line 439, in dump
    return self.dump_all([data], stream, _kw, transform=transform)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\main.py", line 453, in dump_all
    self._context_manager.dump(data)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\main.py", line 801, in dump
    self._yaml.representer.represent(data)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\representer.py", line 81, in represent
    node = self.represent_data(data)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\representer.py", line 108, in represent_data
    node = self.yaml_representers[data_types[0]](self, data)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\main.py", line 638, in t_y
    tag, data, cls, flow_style=representer.default_flow_style
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\representer.py", line 384, in represent_yaml_object
    return self.represent_mapping(tag, state, flow_style=flow_style)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\representer.py", line 218, in represent_mapping
    node_value = self.represent_data(item_value)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\representer.py", line 108, in represent_data
    node = self.yaml_representers[data_types[0]](self, data)
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\main.py", line 638, in t_y
    tag, data, cls, flow_style=representer.default_flow_style
File "C:\miniconda-windows\envs\ratio\lib\site-packages\ruamel\yaml\representer.py", line 383, in represent_yaml_object
    state = data.__dict__.copy()
AttributeError: 'collections.defaultdict' object has no attribute '__dict__'

Ответы [ 2 ]

0 голосов
/ 23 октября 2018

Теперь есть пакет ruamel.yaml.pytypes, который поддерживает дамп defaultdict экземпляров.Обратите внимание, что если вы предоставляете функцию в качестве параметра (для default_factory), вам необходимо указать typ='unsafe', иначе ваша заводская функция не может быть представлена.

После установки ruamel.yaml.pytypes и ruamel.yaml вваш virtualenv, вы можете сделать: 

yaml = ruamel.yaml.YAML(typ=['unsafe', 'pytypes'])
yaml.default_flow_style = False
buf = ruamel.yaml.compat.StringIO()

def factory():
    import datetime
    return datetime.datetime.now()

data = defaultdict(factory)

x = data[4]
data[2] = 42
yaml.dump(data, buf)
print(buf.getvalue(), end='')
d = yaml.load(buf.getvalue())
assert data == d
assert data.default_factory == d.default_factory

выше будет напечатано (ваше время и дата будут другими). ​​

!defaultdict
- !!python/name:__main__.factory 
- 2: 42
  4: 2019-08-19 13:06:05.129019

(и утверждение не будет выдавать исключение)

См. Историю изменений для "ручных" способов достижения аналогичных результатов.

0 голосов
/ 23 октября 2018

Это потому, что defaultdict является подклассом встроенного класса dict, который не имеет атрибута __dict__ для кодировщика YAML для генерации имен атрибутов класса.В этом случае defaultdict следует рассматривать как dict, но проблема в том, что метод represent_data класса ruamel.yaml.representer.BaseRepresenter просматривает только класс самого объекта, чтобы определить, есть лиявляется представителем для объекта: 

data_types = type(data).__mro__
# ...skipped
if data_types[0] in self.yaml_representers:
    node = self.yaml_representers[data_types[0]](self, data)

Вместо этого следует проверить, есть ли у любого из типов данных в __mro__ представитель, и использовать его, если он найден: 

if any(data_type in self.yaml_representers for data_type in data_types):
    node = self.yaml_representers[next(data_type for data_type in data_types if data_type in self.yaml_representers)](self, data)

Таким образом, мы можем самостоятельно исправить этот метод: 

def represent_data(self, data):
    # type: (Any) -> Any
    if self.ignore_aliases(data):
        self.alias_key = None
    else:
        self.alias_key = id(data)
    if self.alias_key is not None:
        if self.alias_key in self.represented_objects:
            node = self.represented_objects[self.alias_key]
            # if node is None:
            #     raise RepresenterError(
            #          "recursive objects are not allowed: %r" % data)
            return node
        # self.represented_objects[alias_key] = None
        self.object_keeper.append(data)
    data_types = type(data).__mro__
    if representer.PY2:
        # if type(data) is types.InstanceType:
        if isinstance(data, representer.types.InstanceType):
            data_types = representer.get_classobj_bases(data.__class__) + list(data_types)
    if any(data_type in self.yaml_representers for data_type in data_types):
        node = self.yaml_representers[next(data_type for data_type in data_types if data_type in self.yaml_representers)](self, data)
    else:
        for data_type in data_types:
            if data_type in self.yaml_multi_representers:
                node = self.yaml_multi_representers[data_type](self, data)
                break
        else:
            if None in self.yaml_multi_representers:
                node = self.yaml_multi_representers[None](self, data)
            elif None in self.yaml_representers:
                node = self.yaml_representers[None](self, data)
            else:
                node = representer.ScalarNode(None, representer.text_type(data))
    # if alias_key is not None:
    #     self.represented_objects[alias_key] = node
    return node
representer.BaseRepresenter.represent_data = represent_data

, чтобы ваш код работал без регистрации defaultdict: 

class Foo:
    def __init__(self):
        self.x = defaultdict()

YAML = ruamel.yaml.YAML(typ="safe")
YAML.register_class(Foo)
# YAML.register_class(defaultdict)
fp =  Path("/temp/test.yaml")
YAML.dump(Foo(), fp)
YAML.load(fp)

РЕДАКТИРОВАТЬ : гораздо более элегантное решение - просто добавить метод SafeRepresenter.represent_dict в качестве представителя для defaultdict: 

from ruamel.yaml import representer
representer.SafeRepresenter.add_representer(defaultdict, representer.SafeRepresenter.represent_dict)
...