Как я могу уменьшить количество вызовов БД, которые Django делает при запросе свойств дочерней модели? - PullRequest
Новая
       11

Как я могу уменьшить количество вызовов БД, которые Django делает при запросе свойств дочерней модели?

0 голосов
/ 29 мая 2018

Мне трудно разобраться с базовой оптимизацией, и я был бы признателен, если бы кто-то понял или указал мне правильное направление.

Упрощенные модели: 

class TimeStampedModel(models.Model):
    created = models.DateTimeField(auto_now_add=True, db_index=True)
    modified = models.DateTimeField(auto_now=True)

    class Meta:
        abstract = True

class Venue(TimeStampedModel):
    name = models.CharField(unique=True, max_length=200, db_index=True)

class Offer(TimeStampedModel):
    venue_associated = models.ForeignKey(Venue, on_delete=models.CASCADE, db_index=True)
    content = models.TextField(max_length=500, db_index=True)

Упрощенный вид: 

class MapView(ListView):
    fields = ["name"]
    model = Venue
    template_name = "venues/venue_map.html"

Упрощенный шаблон: 

{% for venue in venue_list %}
    {{ venue.name }}
    {{ venue.offer_set.latest.created }}
    {{ venue.offer_set.latest.content }}
{% endfor %}

Это создает огромный объем вызовов БД (~ 400).Просмотр всего venue_list создает только один вызов (+1 не связан), а два вызова offer_set создают новые вызовы (каждый 200).

Таким образом, я предположил, что создание отдельного свойства «последний» для модели Venue поможет, так как по крайней мере будет иметь дело с удвоением «последнего» вызова, но нет.Я также попытался поиграть с переопределением общих методов ListView, которые никуда меня не привели.

Вероятно, есть способ сделать это, которого я не вижу.В настоящее время все, что я могу придумать, - это просто добавить дополнительные поля в модель объекта, чтобы просто дублировать информацию, и потребуется дополнительная логика для управления ею.

РЕДАКТИРОВАТЬ:

Я пытался: queryset = Venue.objects.prefetch_related ('offer_set')

Все, что он делает, это создает дополнительный запрос: 

SELECT ••• FROM "offers_offer" WHERE "offers_offer"."venue_associated_id" IN (1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 146, 147, 148, 149, 150, 151, 152, 153, 154, 155, 156, 157, 158, 159, 160, 161, 162, 163, 164, 165, 166, 167, 168, 169, 170, 171, 172, 173, 174, 175, 176, 177, 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 200)

Те же 400 запросов (с разными значениями идентификатора)все еще работает: 

SELECT ••• FROM "offers_offer" WHERE "offers_offer"."venue_associated_id" = 1 ORDER BY "offers_offer"."order" ASC, "offers_offer"."created" DESC LIMIT 1

Ответы [ 4 ]

0 голосов
/ 29 мая 2018

Давайте проведем более детальный анализ того, что действительно происходит за кулисами в Джанго , когда вы сделаете эти Queries до Django ORM.

Querysets являются ленивыми,значение: (Согласно Django Docs )

Внутренне QuerySet может быть сконструирован, отфильтрован, разрезан и, как правило, передан без фактического попадания в базу данных.На самом деле никаких действий с базой данных не происходит, пока вы не сделаете что-то для оценки набора запросов.

Querysets может быть оценено только при выполнении любого из следующих действий: iteration, slicing, pickling,repr(), len(), list() или bool()

Хорошо, здесь, если мы увидим выполняемый вами SQL-запрос:

PS: вы можете просмотреть SQL-запроскоторый поразит базу данных при помощи этой записи в вашей оболочке: 

import logging
l = logging.getLogger('django.db.backends')
l.setLevel(logging.DEBUG)
l.addHandler(logging.StreamHandler())

result_queryset = Venue.objects.all()

SELECT "venue"."id"......(all model fields)......FROM "venue";

Здесь, в приведенном выше запросе SQL, вы не увидите никаких объектов related fields, кроме id из ForeignKeys.

Теперь, если вы получите доступ к какому-либо связанному полю для вышеуказанного набора запросов, ORM снова попадет в базу данных, чтобы захватить ее.Это можно предотвратить с помощью prefetch_related() или select_related() (Различия между здесь ) 

result_queryset = Venue.objects.prefetch_related('offer_set')
# Django creates API accessors for the "other" side of the relationship
# Here, _set is used to access that "other" side i.e. related objects

A NEW SQL QUERY THAT FETCHES YOUR offer_set OBJECTS via a JOIN (that is how prefetch_related works)

Более того, каждый раз, когда ваш шаблон требует name, offer_set.latest.created, offer_set.latest.content, он попадет в базу данных из-за этой ленивой оценки Querysets.

РЕДАКТИРОВАТЬ:

Поскольку вы отредактировали свой вопрос, вы хотите все Venueобъектов в целом и не нужно 400 запросов, чтобы поразить вашу базу данных, я собираюсь предложить неидеальный способ сделать это -

Оцените ваш набор запросов заранее, прежде чем передать его в качестве контекстак шаблону. Я уже упоминал много способов сделать это выше.

0 голосов
/ 29 мая 2018

вы обращаетесь к реляционным данным, в django, если вы обращаетесь к связанным данным с помощью обычного запроса, он будет снова и снова попадать в db hit.Таким образом, для этого вы можете использовать запрос prefetch_related для конкретного отношения, который за один раз извлекает все дБ для этой таблицы, когда вы будете повторять этот элемент, он больше не попадет в базу данных.Все данные будут поступать по одному запросу.

 queryset = Venue.objects.prefetch_related('offer_set')
0 голосов
/ 29 мая 2018

Django предоставляет конструкции типа select_related и prefetch_related для оптимизации операций запроса связанного объекта.В вашем случае это должно быть: 

   queryset = Venue.objects.all().prefetch_related('offer_set')

Для последнего элемента, пробовали ли вы добавить мета-значение ordering в Venue модель следующим образом: 

class Offer(TimeStampedModel):
    ......

    class Meta:
        ordering = ['created']


{% for venue in venue_list %}
    {{ venue.name }}

    {% with venue.offer_set|first as first_offer %}
    {{ first_offer.created }}
    {{ first_offer.content }}
     {% endwith %}

{% endfor %}
0 голосов
/ 29 мая 2018

Обычно вы можете выбрать все связанные модели в дополнительном запросе с помощью prefetch_related(..), поэтому мы можем добавить это к атрибуту queryset ListView: 

class MapView(ListView):
    fields = ["name"]
    model = Venue
    <b>queryset = Venue.objects.prefetch_related('offer_set')</b>
    template_name = "venues/venue_map.html"
...