Есть ли рамки?
Это либо пользовательский NSWindow без полей (см. MAAttachedWindow для аналогичного примера), либо NSPopover (что впервые в Lion).
NSWindow
NSPopover