Вы не можете это изменить. Каждый экземпляр AppDomain имеет фиксированный app.config, который задается через экземпляр AppDomainSetup при создании нового домена приложения. Несмотря на то, что вы можете получить информацию о настройке через AppDomain.SetupInformation , в этот момент она фактически стала доступна только для чтения.
Учитывая это, одним из вариантов может быть создание нового домена приложения из вашей Main функции и настройка домена для использования требуемого файла app.config.