На это могут повлиять несколько факторов.
Одна из задержек вызвана компиляцией JIT.
В режиме отладки ни одна из оптимизаций не установлена. Из-за полной отладочной информации, являющейся проектом, результирующая сборка также больше и, следовательно, потребуется время для загрузки в память.
Тогда, если вы запускаете веб-приложение, раскрутка веб-сервера также может занять время. Если вы консольное приложение, загрузка соответствующих сборок займет некоторое время.
Если вы сканируете на вирусы все файлы, это замедляет время доступа к файлу и, следовательно, время запуска.
Редактировать: Как вы упомянули в своих комментариях, наличие мощного оборудования, очевидно, поможет в быстром выполнении, но вы понимаете, что необходима дополнительная обработка.
A Временное решение - запуск в режиме без отладки ( Ctrl + F5 ) и последующее присоединение к процессу.