Вы действительно не должны перегружать атрибут rel
для этого, это не то, для чего он.
Однако код может выглядеть примерно так ...
$(document).ready(function() {
$("a.popup").each(function() {
var width = $(this).attr('rel');
$(this).fancybox({
'autoScale': false,
'width': width,
'height': 500,
'transitionIn': 'elastic',
'transitionOut': 'elastic',
'type': 'iframe'
});
});
});