itertools.groupby в шаблоне django

Question

У меня странная проблема с использованием itertools.groupby для группировки элементов набора запросов. У меня есть модель Resource:

from django.db import models 

TYPE_CHOICES = ( 
    ('event', 'Event Room'),
    ('meet', 'Meeting Room'),
    # etc 
)   

class Resource(models.Model):
    name = models.CharField(max_length=30)
    type = models.CharField(max_length=5, choices=TYPE_CHOICES)
    # other stuff

У меня есть несколько ресурсов в моей базе данных sqlite:

>>> from myapp.models import Resource
>>> r = Resource.objects.all()
>>> len(r)
3
>>> r[0].type
u'event'
>>> r[1].type
u'meet'
>>> r[2].type
u'meet'

Так что, если я группирую по типу, я, естественно, получаю два кортежа:

>>> from itertools import groupby
>>> g = groupby(r, lambda resource: resource.type)
>>> for type, resources in g:
...   print type
...   for resource in resources:
...     print '\t%s' % resource
event
    resourcex
meet
    resourcey
    resourcez

Теперь у меня та же логика в моем представлении:

class DayView(DayArchiveView):
    def get_context_data(self, *args, **kwargs):
        context = super(DayView, self).get_context_data(*args, **kwargs)
        types = dict(TYPE_CHOICES)
        context['resource_list'] = groupby(Resource.objects.all(), lambda r: types[r.type])
        return context

Но когда я повторяю это в моем шаблоне, некоторые ресурсы отсутствуют:

<select multiple="multiple" name="resources">
{% for type, resources in resource_list %}
    <option disabled="disabled">{{ type }}</option>
    {% for resource in resources %}
        <option value="{{ resource.id }}">{{ resource.name }}</option>
    {% endfor %}
{% endfor %}
</select>

Это выглядит как:

Я думаю, что каким-то образом итераторы уже повторяются, но я не уверен, как это могло произойти.

(Использование Python 2.7.1, Django 1.3).

(РЕДАКТИРОВАТЬ: Если кто-то читает это, я бы рекомендовал использовать встроенный regroup шаблон тега вместо использования groupby.)

Answer 1

Шаблоны Django хотят знать длину объектов, которые зациклены на {% for %}, но у генераторов нет длины.

Поэтому Django решает преобразовать его в список перед итерацией, чтобыу него есть доступ к списку.

Это разбивает генераторы, созданные с помощью itertools.groupby.Если вы не перебираете каждую группу, вы теряете содержимое.Вот пример от разработчика ядра Django Алекса Гейнора , сначала обычная группа:

>>> groups = itertools.groupby(range(10), lambda x: x < 5)
>>> print [list(items) for g, items in groups]
[[0, 1, 2, 3, 4], [5, 6, 7, 8, 9]]

Вот что делает Django;он преобразует генератор в список:

>>> groups = itertools.groupby(range(10), lambda x: x < 5)
>>> groups = list(groups)
>>> print [list(items) for g, items in groups]
[[], [9]]

Существует два способа: преобразовать в список до того, как это сделает Django, или запретить Django это делать.

Преобразование в список самостоятельно

Как показано выше:

[(grouper, list(values)) for grouper, values in my_groupby_generator]

Но, конечно, у вас больше нет преимуществ использования генератора, если это проблемадля вас.

Предотвращение преобразования Django в список): class MyGroupedItems(object): def __iter__(self): return itertools.groupby(range(10), lambda x: x < 5) def __len__(self): return 2 Django сможет получить длину, используя len(), и ему не нужно будет преобразовывать ваш генератор в список.К сожалению, Джанго делает это.Мне повезло, что я мог использовать этот обходной путь, так как я уже использовал такой объект и знал, какая длина будет всегда.

Answer 2

Я думаю, что ты прав.Я не понимаю почему, но мне кажется, что ваш итератор groupby проходит предварительную итерацию.Это проще объяснить с помощью кода:

>>> even_odd_key = lambda x: x % 2
>>> evens_odds = sorted(range(10), key=even_odd_key)
>>> evens_odds_grouped = itertools.groupby(evens_odds, key=even_odd_key)
>>> [(k, list(g)) for k, g in evens_odds_grouped]
[(0, [0, 2, 4, 6, 8]), (1, [1, 3, 5, 7, 9])]

Пока все хорошо.Но что происходит, когда мы пытаемся сохранить содержимое итератора в списке?

>>> evens_odds_grouped = itertools.groupby(evens_odds, key=even_odd_key)
>>> groups = [(k, g) for k, g in evens_odds_grouped]
>>> groups
[(0, <itertools._grouper object at 0x1004d7110>), (1, <itertools._grouper object at 0x1004ccbd0>)]

Конечно, мы только что кэшировали результаты, и итераторы все еще хороши.Правильно?Неправильно.

>>> [(k, list(g)) for k, g in groups]
[(0, []), (1, [9])]

В процессе получения ключей группы также перебираются.Итак, мы действительно просто кэшировали ключи и выбрасывали группы, сохраняя самый последний элемент.

Я не знаю, как django обрабатывает итераторы, но исходя из этого, я догадываюсь, что он кэширует их как списки внутри.Вы можете хотя бы частично подтвердить эту интуицию, выполнив вышеизложенное, но с большим количеством ресурсов.Если единственный отображаемый ресурс является последним, то вы почти наверняка столкнулись с проблемой, описанной выше.