Я столкнулся с этой же проблемой, работая над главой 12 (Файлы Nib и NSWindowController) в книге Аарона Хиллегаса «Программирование какао для Mac OS X». Ответ Дуга, приведенный выше, был решением - я не связывал выход окна владельца файла Preferences.xib с самим окном (в данном случае это окно Panel (Настройки)).
Я щелкнул правой кнопкой мыши по «Владельцу файла» в файле Preferences.xib, затем левой кнопкой мыши перетащил из окна «Окно» на панель («Настройки»). После того, как сделано и перестроено приложение работает как задумано. Я мог закрыть и снова открыть панель пользовательских настроек, и мои предыдущие настройки все еще были там (поскольку окно настроек не выгружается, а просто скрыто).