Что вы можете сделать, это вернуть плоский список, а затем получить значения из списка или выполнить итерацию по нему.Для этого вам понадобится:
usernames = User.object.values_list('username', flat=True)
Тогда на вашем шаблоне вы можете сделать:
{% for username in usernames %}
Username: {{ username }}
{% endfor %}