Недостатком «игры» с проектом WebSite является то, что вы можете пропустить ошибку компилятора, если код, вызывающий сбой, находится за пределами каталога App_Code и вы никогда не загрузите код, содержащий ошибку. Я думаю, что сборка действительно ловит такие ошибки.
Еще один момент, за которым нужно следить - если в решении есть дополнительные проекты (например, библиотеки классов), убедитесь, что зависимости настроены правильно в Configuration Manager, чтобы эти проекты создавались перед «воспроизведением» сайт. В противном случае вы можете внести изменения в библиотеку классов, а затем «воспроизвести» сайт, но не увидеть изменения.