setOutlineTableColumn:
устанавливает столбец, в котором есть кнопки раскрытия. Не добавляет столбцы.
Если оба из них просто ничего не делают, убедитесь, что outlineView
(который, я полагаю, является выходом IB) подключен к вашему пиру.
Если что-то еще произойдет, пожалуйста, сообщите нам, что в вашем вопросе.