YourWindowController* sheet;
[[NSApplication sharedApplication] beginSheet:[sheet window]
modalForWindow:[[NSApplication sharedApplication] mainWindow]
modalDelegate:nil
didEndSelector:nil
contextInfo:nil];
Убедитесь, что ваше окно создается правильно. Убедитесь, что опция «Видимо при запуске» в IB не отмечена.
РЕДАКТИРОВАТЬ: я только что заметил, что вы загружаете это окно из отдельного файла пера. Убедитесь, что вы загружаете его правильно. Используйте это:
YourWindowController* sheet = [[YourWindowController alloc] initWithWindowNibName:@"NameOfNibMinusExtension"];
ТАКЖЕ:
Проверьте и убедитесь, что для типа «Владелец файла» задано имя класса пользовательского оконного контроллера, а для его «окна» задано окно в Nib.
Щелкните правой кнопкой мыши (или Cmd + Click) на Владельце файла и убедитесь, что свойство «окна» подключено к соответствующему окну. Кроме того, еще раз, убедитесь, что окно «Видимый при запуске» НЕ проверено.