В событии close
диалогового окна вы можете .remove()
его, например:
$('<iframe src="' + this.href + '" />').dialog({
//...current options...
close: function() {
$(this).dialog('destroy').remove();
}
});
Это удаляет <iframe>
иего содержимое, а также уничтожение фактического диалогового виджета вокруг него, который больше не нужен.