UITableView имеет свойство rowHeight, которое вы можете установить напрямую или через метод делегата tableView: heightForRowAtIndexPath:.
UITableViewCell имеет свойство шрифта, которое можно установить, чтобы уменьшить шрифт.
Ссылка на класс UITableView говорит, что rowHeight находится в точках. Если это означает то же самое, что и точки в NSFont, должно быть легко согласовать два.
И, конечно, вы можете изменить размер фрейма представления таблицы в IB.
Так что вы должны иметь возможность получить то, что вы хотите, используя UITableViewController.
Что касается ошибки, знаете ли вы, какая строка ее генерирует? Вы установили точки останова, чтобы узнать?