Вы описываете ситуацию именно так, как работает файл app.config.
Обычно в файле app.config есть разные части для таких вещей, как строки подключения, настройки конфигурации WCF, а также для ваших собственных пользовательских настроек.
Класс ConfigurationManager может использоваться для доступа к настройкам приложения, строкам подключения и другим данным конфигурации.
ConfigSections определены на вашем компьютере для всех стандартных элементов конфигурации. Вы также можете использовать ConfigSections для создания собственных пользовательских разделов, которые можно поместить в app.config.
Вот некоторая документация как это сделать.