Эти шаги решили проблему.
1) Выберите NSOutlineView
в IB.
2) В Size Inspector
выберите Automatic
для Size Style
.Если он уже выбран, отмените выбор и выберите его снова (ошибка XCode?)
Теперь вы можете изменить шрифт для NSTextFieldCell
(ячейки заголовка и ячейки данных), используя IB.