Один из способов сделать это в шаблоне - определить пользовательский фильтр . Этот пользовательский фильтр может принимать набор запросов и пользователя, вошедшего в систему, в качестве аргументов и выполнять необходимую фильтрацию.
@register.filter
def filter_by_user(queryset, user):
"""Filter the queryset by (currently logged in) user"""
return queryset.filter(added_by = user)
А в шаблоне:
<td>{{ book.rating_set.all|filter_by_user:user|safeseq|join:", " }}</td>