Когда вы делаете это:
$("a[rel='colorbox']").colorbox(...
Вы говорите "создайте мне объект colorbox, связанный с этой ссылкой."
То есть, чтобы получить доступ к его свойствам (другими словами, к объекту), достаточно просто вызвать элемент:
$("a[rel='colorbox']").colorbox(...;
Я понятия не имею, есть ли функция изменения размера в этом плагине, я никогда не использовал его, но вы должны быть в состоянии сделать это так:
$("a[rel='colorbox']").colorbox({
onComplete: function() {
$("a[rel='colorbox'").colorbox.resize(); // what in the world goes here to get the colorbox?
},
preloading: true
});