Каждый раз, когда вы перестраиваете свое приложение, сервер должен перекомпилировать код, но должен быть быстрее после первого посещения.
Кроме того, использование отладчика ухудшит производительность.
Если вы хотите просматривать сайт локально с более высокой производительностью в целом, вам может потребоваться настроить сайт в IIS, а не использовать встроенный веб-сервер Visual Studio.