Это явно написано в документации django -фильтра конечно.
Вам просто нужно сделать что-то подобное:
class ProductFilter(django_filters.FilterSet):
manufacturer__name = django_filters.CharFilter(lookup_expr='icontains')
class Meta:
model = Product
The icontains
поиск означает нечувствительный к регистру и содержит