В соответствии с Django документами можно изменить QuerySet набора модели.
formset = AuthorFormSet(queryset=Author.objects.filter(name__startswith='O'))
У меня вопрос, могу ли я запросить другую модель?
Пример:
AuthorFormSet = modelformset_factory(Author, exclude=('birth_date',))
formset = AuthorFormSet(queryset=Books.objects.filter(name__startswith='O'))