С помощью .annotate(count=Count('id')) вы аннотируете каждую строку в вашем наборе запросов со счетом id, который равен 1, каждая строка имеет только один идентификатор (это будет 1 для любого выбранного столбца).
Тогда вы могли бы aggregate Sum из count, что сработало бы, но это немного сложно по сравнению с простым решением.
Используйте взамен count():
task_qs = Task.objects.filter(...)
total = task_qs.count()