Другим способом вы можете показать свое дочернее окно, не добавляя его в качестве дочернего окна, но достигая того же поведения на уровне окна:
[self.childWindowController showWindow:self];
[self.childWindowController.window setLevel:NSSubmenuWindowLevel];
Я не уверен, что этот метод правильный и хорошийрешение, но оно работает для меня.