Вы пробовали использовать [[NSScreen mainScreen] frame]
?Если вы хотите исключить строку меню, вы можете вычесть высоту меню из высоты NSRect.(Это около 20 пикселей)
Редактировать: Если вы хотите, чтобы размер вашего окна был изменен с самого начала, вы можете поместить метод выше в awakeFromNib вашего контроллера и использовать NSWindow setFrame:display:
, чтобы изменить его размер.