Вместо того, чтобы менять способ чтения fancybox, я бы создал javascript, который превращает вашу структуру dom в то, как это нравится fancybox.
например:
$('img').each(function () {
$this = $(this);
$this.wrap('<a href="'+$this.attr('rel')+'"></a>');
$this.removeAttr('rel');
});
// run fancybox