Это не совсем то, что вы просили, но дает вам список идентификаторов пользователей и связанных с ними максимальных скоростей:
from django.db.models import Max
Speed.objects.values_list('user').annotate(Max('speed'))
Это может быть более полезным: список объектов пользователей с их максимальными скоростями:
User.objects.all().annotate(Max('speed__speed'))
Редактировать после комментария Ну, вы не показываете, откуда исходит время, но, если предположить, что это другое поле в модели Speed, все равно довольно просто:
Speed.objects.filter(time__gte=fiveminutesago).values_list('user').annotate(Max('speed'))
См. Документацию по упорядочению предложений аннотаций и фильтров .