Если ваша цель - заставить IB создать экземпляр вашего класса вместо NSButton, вы можете просто перетащить NSButton в окно, как обычно, и изменить имя класса на панели Identity Inspector.
Возможно добавить свой элемент управления в библиотеку объектов, я полагаю, вам нужно создать IBPalette.