Во-первых, файл NIB, для всех намерений и целей, такой же, как файл XIB; это просто скомпилированная версия файла XIB.
Теперь, чтобы создать объект, полученный из NSObject в вашем NIB / XIB, просто перетащите NSObject из окна библиотеки в ваш файл. Затем в Identity Inspector измените класс на свой собственный класс.
Если вы определяете методы следующим образом:
- (IBAction)myAction:(id)sender
вы сможете подключить их в Интерфейсном Разработчике.
Сказав все это, трудно сказать, является ли то, что вы делаете, правильным делом вообще. Мне кажется, что вы должны использовать подкласс NSViewController, так что взгляните на документацию по этому вопросу.
Вы также должны убедиться, что понимаете, что такое объекты вида, контроллера и модели. Об этом много литературы.