В вашем примере вы можете просто изменить close на hide:
$("#cond").hide();
var d = $("#cond").dialog({
width:'400',
height:'100',
autoOpen: false,
modal: true,
closeOnEscape: false,
resizable: true,
close: function(event, ui) {
f();
}
});
$('#open').click(function(){
d.dialog('open');
});
function f(){
d.dialog('option', 'hide', null)
alert('hi');
}