У вас конфликт с $ на странице, так как прототип также включен на страницу, это будет работать, так как $ перешло к прототипу:
jQuery(function() {
jQuery("a.video").fancybox({
'zoomOpacity' : true,
'overlayShow' : false,
'zoomSpeedIn' : 500,
'zoomSpeedOut' : 500
});
});