По умолчанию табличное представление заключено в представление прокрутки, а представление прокрутки настроено на автоматическое изменение размера его подпредставлений.Это означает, что изменение только одного фрейма табличного представления не будет работать, потому что вмещающее представление прокрутки автоматически изменит его размер.
Вместо этого следует изменить фрейм вмещающего представления прокрутки.Например:
[[tableView enclosingScrollView] setFrame:NSMakeRect(0,595, 666,595+120)];
или у вас может быть выход для вида прокрутки:
[tableScrollView setFrame:NSMakeRect(0,595, 666,595+120)];