В версии 1.3 FancyBox есть метод изменения размера, который вы можете использовать для подгонки iFrame к его содержимому:
$.fancybox.resize();
Если память используется, это имеет побочный эффект перезагрузки содержимого iFrame.
Если вы обнаружите, что это так, попробуйте использовать высоту тега body, чтобы сообщить fancybox об изменении размера.
var height = $('body').height();
$('#fancybox-inner, #fancybox-wrap').height(height);