Я сделал приведенный выше код в форме Windows, и он работал просто отлично. Вы уверены, что это не меняется? У меня было текстовое поле, установленное на значение при загрузке формы, и оно изменилось, хотя в app.config оно не изменилось вообще.
EDIT:
Поскольку это пользовательские настройки, они сохраняются в файле user.config для профиля пользователя в папке локальных настроек \ data application.