Вы должны напрямую изменить его CSS, так как fancybox на самом деле не является частью jquery.
$("#fancybox").css({'width': '500px', 'height': '500px'});
есть такой или что-то вроде этого,
jQuery(document).ready(function() {
$.fancybox(
{
'autoDimensions' : false,
'width' : 350,
'height' : 'auto',
'transitionIn' : 'none',
'transitionOut' : 'none'
}
);
});