Я только что попробовал это, и это работает для меня:
A.objects.exclude(b=None)
или несколько более хакерская версия, которая использует (обычно) целочисленный неотрицательный характер первичных ключей
A.objects.filter(b__id__gte=0)
Теперь у меня есть related_name, поэтому, если они вам не подходят, попробуйте добавить related_name.
class Profile(models.Model):
user = models.OneToOneField(User, related_name='profile')