Я нашел способ проверить модалпопап без обратной передачи.
В ModalPopupExtender я устанавливаю OnOkScript для функции, например, ValidateBeforePostBack (), затем в функции, которую я вызываю Page_ClientValidate для нужной группы валидации, делаю проверку, и в случае неудачи сохраняю показ modalpopup. Если это пройдет, я звоню __doPostBack
.
function ValidateBeforePostBack(){
Page_ClientValidate('MyValidationGroupName');
if (Page_IsValid) { __doPostBack('',''); }
else { $find('mpeBehaviourID').show(); }
}