Вы пробовали обрезать слоями?
self.layer.cornerRadius = self.radius;
self.layer.masksToBounds = YES;
Ах, извините, почему-то я упустил, что вы говорили о NSView, а не UIView. Было бы трудно обрезать подвиды NSView во всех случаях, потому что кажется, что большинство стандартных представлений Какао устанавливают свой собственный путь отсечения. Может быть проще расположить подпредставления с некоторыми отступами и избежать необходимости обрезки.