Если у вас есть реальный сервер базы данных и база данных правильно проиндексирована, самый быстрый способ сделать это - перенести сортировку в базу данных.
Если вы предполагаете, что все работает на вашем ноутбуке, я бы все же использовал индексированную сортировку по сортировке в памяти (linq).