Django Аннотированный запрос для подсчета всех объектов, использованных в обратной взаимосвязи

Question

Этот вопрос является дополнительным вопросом для этого вопроса SO: Django Аннотированный запрос на подсчет только последних из обратных отношений

С учетом этих моделей:

class Candidate(BaseModel):
    name = models.CharField(max_length=128)

class Status(BaseModel):
    name = models.CharField(max_length=128)

class StatusChange(BaseModel):
    candidate = models.ForeignKey("Candidate", related_name="status_changes")
    status = models.ForeignKey("Status", related_name="status_changes")
    created_at = models.DateTimeField(auto_now_add=True, blank=True)

Представлено этими таблицами:

candidates
+----+--------------+
| id | name         |
+----+--------------+
|  1 | Beth         |
|  2 | Mark         |
|  3 | Mike         |
|  4 | Ryan         |
+----+--------------+

status
+----+--------------+
| id | name         |
+----+--------------+
|  1 | Review       |
|  2 | Accepted     |
|  3 | Rejected     |
+----+--------------+

status_change
+----+--------------+-----------+------------+
| id | candidate_id | status_id | created_at |
+----+--------------+-----------+------------+
|  1 | 1            | 1         | 03-01-2019 |
|  2 | 1            | 2         | 05-01-2019 |
|  4 | 2            | 1         | 01-01-2019 |
|  5 | 3            | 1         | 01-01-2019 |
|  6 | 4            | 3         | 01-01-2019 |
+----+--------------+-----------+------------+

Я хотел получить счетчик для каждого типа статуса, но включить только последний статус для каждого кандидата:

last_status_count
+-----------+-------------+--------+
| status_id | status_name | count  |
+-----------+-------------+--------+
| 1         | Review      | 2      | 
| 2         | Accepted    | 1      | 
| 3         | Rejected    | 1      |
+-----------+-------------+--------+

Я смог достигните этого с помощью этого ответа :

from django.db.models import Count, F, Max

Status.objects.filter(
    status_changes__in=StatusChange.objects.annotate(
        last=Max('candidate__status_changes__created_at')
    ).filter(
        created_at=F('last')
    )
).annotate(
    nlast=Count('status_changes')
)

>>> [(q.name, q.nlast) for q in qs]
[('Review', 2), ('Accepted', 1), ('Rejected', 1)]

Проблема, однако, заключается в том, что, если какой-либо статус не ссылается на статус, он исключается из результата. Вместо этого я хотел бы считать это как ноль. Например, если бы статус был

+----+--------------+
| id | name         |
+----+--------------+
|  1 | Review       |
|  2 | Accepted     |
|  3 | Rejected     |
|  4 | Banned       |
+----+--------------+

, я бы получил:

+-----------+-------------+--------+
| status_id | status_name | count  |
+-----------+-------------+--------+
| 1         | Review      | 2      | 
| 2         | Accepted    | 1      | 
| 3         | Rejected    | 1      |
| 4         | Banned      | 0      |
+-----------+-------------+--------+

>>> [(q.name, q.nlast) for q in qs]
[('Review', 2), ('Accepted', 1), ('Rejected', 1), ('Accepted 0)]

Что я пробовал

Я решил это, выполнив внешнее соединение в SQL но я не уверен, как добиться этого в Джано. Я попытался создать набор запросов со всеми счетами, аннотированными как ноль, и слить его, но это не сработало:

last_status_changes = Status.objects.filter(
    status_changes__in=StatusChange.objects.annotate(
        last=Max('candidate__status_changes__created_at')
    ).filter(
        created_at=F('last')
    )
).annotate(
    nlast=Count('status_changes')
)
zero_query = (
    Status.objects.all()
    .annotate(nlast=Value(0, output_field=IntegerField()))
    .exclude(pk__in=last_status_changes.values("id"))
)

>>> qs = last_status_changes | zero_query
>>> [(q.name, q.nlast) for q in qs]
[('Review', 3), ('Accepted', 1), ('Rejected', 1)]
# this would double count "Review" and include not only last but others

Любая помощь приветствуется Спасибо

Обновление 1

Я смог решить эту проблему с помощью Raw Query, используя правильное соединение, но было бы здорово сделать это с помощью ORM

# Untested as I am using different model names in reality
SQL = """SELECT
        Min(status.id) as id
        , COUNT(latest_status_change.candidate_id) as status_count
    FROM
        (
        SELECT
            candidate_id,
            Max(created_at) AS latest_date
        FROM
            api_status_change
        GROUP BY candidate_id
        )
    AS latest_status_change
    INNER JOIN api_candidates ON (latest_status_change.candidate_id = api_candidates.id)
    INNER JOIN api_status_change ON 
        (
            latest_status_change.candidate_id = api_candidates.id 
            AND 
            latest_status_change.latest_date = api_status_change.created_at
        )
    RIGHT JOIN api_status AS status  ON (api_status_change.status_id = `status`.id)
    GROUP BY status.name
    ;
"""
qs = Status.objects.raw(SQL)
>>> [(q.name, q.nlast) for q in qs]
[('Review', 2), ('Accepted', 1), ('Rejected', 1), ('Accepted 0)]

Answer 1

Единственная проблема здесь заключается в том, что вы фильтруете свой набор запросов State по существующим изменениям статуса и ожидаете полных противоположных результатов. В вашем случае решение состоит в том, чтобы избавиться от устаревшей фильтрации

last_status_changes = Status.objects.annotate(
    nlast=Count('status_changes')
).order_by(
    '-nlast'
)

Другой случай будет, если вы действительно хотите фильтровать изменения (например, по дате)

changed_status_ids = Status.objects.filter(
    status_changes__created_at__gte='2020-03-03'
).values_list(
    'id',
    flat=True
)

Status.objects.annotate(
    c=Count('status_changes')
).annotate(
    cnt=Case(
        When(
            id__in=changed_status_ids,
            then=F('c')
        ),
        output_field=models.IntegerField(),
        default=0
    )
).values(
    'cnt',
    'name'
).order_by(
    '-cnt'
)

Answer 2

Я решил это с помощью набора запросов ниже:

qs_last_status_changes = StatusChanges.objects
    .annotate(
        _last_change=models.Max("candidate__status_changes__create_at")
    ).filter(created_at=models.F("_last_change")

qs_status = Status.objects\
    .annotate(count=models.Sum(
        models.Case(
            models.When(
                status_changes__in=qs_last_status_changes, 
                then=models.Value(1)
            ),
            output_field=models.IntegerField(),
            default=0,
        )
    )
)

>>> [(k.name, k.count) for k in qs_status]
[('Review', 2), ('Accepted', 1), ('Rejected', 1), ('Accepted 0)]

Спасибо, Андрей Нелюбин, за ваше предложение