Если я что-то упустил, у пользователей уже должен быть уникальный идентификатор, поэтому отличительный является избыточным.
Я надеюсь, что оптимизатор SQL будет знать, что это кластеризованный индекс, но вы можете попробовать удалить его.
Вам нужно вернуть всех пользователей? Вы используете ленивую загрузку? Возможно, вы также извлекаете данные клиента, поэтому, возможно, стоит проверить профилировщик SQL Server, чтобы увидеть, что происходит.
Вы также можете просто вернуть нужные поля:
var usersFromDb = _Context.Users
.Select(u => new MyUser
{
Id = u.ID,
Name = u.Name,
Time = u.Time
}).
.OrderByDescending(u => u.Time)
.ToList();