Да, вы должны - хотя, если это имеет значение, зависит от того, как ваш сайт закодирован. Только предварительно скомпилированные сайты (проекты веб-приложений) или библиотеки классов в одном решении будут заботиться. Сайты ASP.NET (проекты веб-сайтов) будут скомпилированы на сервере и проверит web.config на предмет их параметров отладки.