Предварительно извлекайте их так:
toppings = Topping.objects.prefetch_related('pizza_set')
тогда следующее не попадет в базу данных:
for topping in toppings:
pizzas_with_toppings = topping.pizza_set.all()
Я хотел бы добавить, что Django изо всех сил старается быть простым в использовании для простых вещей (и, без сомнения, Django делает это великолепно), но это, очевидно, заставляет Django делать много неявных вещей, которые не сразу очевидны из код приложения, поэтому, когда вы делаете что-то продвинутое, вы должны ожидать неожиданного, прочитайте документы Django, которые разъясняют всю магию, и используйте такие инструменты, как Django Debug Toolbar и т. д., чтобы убедиться, что все работает так, как вы ожидаете.