Если я вас правильно понимаю, я думаю, что вашу проблему лучше всего решить с помощью аннотаций django (подробности см. В документах ).
С вашей точки зрения, аннотируйте каждый объект Family с помощью число взрослых:
families = Family.objects.annotate(non_adults=Count('person', filter=Q(person__adult=False)))
Тогда вы можете просто использовать эту аннотацию в своем шаблоне
{% for family in families %}
{{ family.name }} has {{ family.non_adults }} non-adults!
{% endfor %}
С аннотациями вы можете использовать мощь базы данных, которая часто более эффективна, чем запросы и делать дополнительные вещи в python.