Вы должны быть в состоянии сделать что-то подобное программно, поместив соответствующие разделы в два разных файла конфигурации, а затем во время запуска приложения загрузите соответствующий файл конфигурации. Большая часть вашей конфигурации будет в основном app.config, а для остальных будет второй файл конфигурации.
У меня нет синтаксиса, но в принципе это та же идея, что и файл user.config с пользовательскими конфигурациями.