вы можете отключить отправку форм в вашем диалоге, указав это в теге формы:
<form onsubmit="return(false);" id="myId" name="myName" action="" method="">
Затем вам нужно будет добавить прослушиватель событий для вашей кнопки или выполнить отправку XHR самостоятельно.
Хотя вы и используете это объявление для своего диалога с isDefault, установленным в true в handleSubmit, вы, вероятно, не получите форму, отправленную при нажатии клавиши ввода.
YAHOO.example.container.dialog1 = new YAHOO.widget.Dialog("dialog1",
{ width : "300px",
fixedcenter : true,
visible : false,
constraintoviewport : true,
buttons : [ { text:"Submit", handler:handleSubmit, isDefault:true },
{ text:"Cancel", handler:handleCancel } ]
} );