Вы можете использовать один из следующих запросов:
a_models = ModelA.objects.filter(model_b__b=known_b_value)
for a in a_models:
print(a.f)
b_models = ModelB.objects.filter(b=known_b_value).select_related('a')
for b in b_models:
print(b.a.f)
select_related
во втором запросе не является строго обязательным;он используется только для получения значений f
в первом запросе, а не в одном дополнительном запросе на элемент цикла.