Вы уверены, что меняете правильный файл? Вы не хотите изменять файл app.config, но файл <exename>.exe.config
в том же каталоге, что и .exe
Файл app.config - это то, что вы редактируете в ide, но при компиляции приложения этот файл переименовывается в <exename>.exe.config
и копируется в выходной каталог при компиляции. .Exe ищет файл с тем же именем, что и у него, с расширением .config при поиске конфигурации по умолчанию.