Вы можете иметь его в другом файле .config, который загружается вашим web.config, например:
<appSettings file="../Support/config/WebEnvironment.config">
</appSettings>
Затем вы можете использовать его в своем коде так:
System.Configuration.ConfigurationManager.AppSettings["DefaultConnection"]
У нас это так, что этот файл физически не находится на нашем сайте, но фактически находится под ним. То есть каталог «Поддержка» выше является виртуальным каталогом. Подробности можно найти ЗДЕСЬ.