Ваш файл app.config не может адаптироваться автоматически. Как правило, это задача установки или развертывания сценариев, чтобы убедиться, что вся конфигурация настроена правильно.
Однако ваша программа может динамически адаптироваться, если она знает, что ваши файлы конфигурации хранят относительные пути. Вместо того, чтобы делать
var reader = new StreamReader(Configuration.AppSettings["fileToRead"]);
Сделайте это (укажите файл относительно текущей исполняемой сборки):
var path = Path.GetDirectoryName(Assembly.GetAssembly(typeof(MyClass)).CodeBase);
path = Path.Combine(path, Configuration.AppSettings["fileToRead"])
var reader = new StreamReader(path);