Вы можете сделать это за 2 запроса:
from django.db.models import Count, Prefetch
qs = B.objects.annotate(entry_count=Count('entries'))
a_list = A.objects.prefetch_related(Prefetch('b', queryset=qs))
Надеюсь, я правильно понял все связанные имена. Вы можете получить доступ к счетам, как это:
for a in a_list:
for b_item in a.b:
print(b_item.entry_count)