В зависимости от того, какого сценария вы пытаетесь достичь, вы можете включить свой файл App.config в качестве встроенного ресурса, а при необходимости распаковать его куда-нибудь на диск и загрузить, используя совет, данный этому вопросу .
Очевидно, что это устраняет возможность на самом деле изменять конфигурацию без перекомпиляции, так что отчасти побеждает цель.
Другим вариантом может быть установка файла конфигурации в папку Application Data
или Common Application Data
и использование той же методики, что и выше.