Если вы хотите максимизировать NSWindow, вам нужно будет установить размер его кадра на основной размер экрана, как показано ниже
NSWindow* myWindow; //Your window object to maximize
[myWindow setFrame:[[NSScreen mainScreen] visibleFrame] display:YES];