У меня была похожая ситуация, и я не смог заставить ее работать с Javascript.Вместо этого я сделал проверку условий и отображение modalpopup на стороне сервера.Решение было не таким чистым, как с клиентским javascript, но по крайней мере я заставил его работать и перешел.
If Condition == true then modalPopUp.Show()
В вашей панели pnlPopU поместите кнопку (CancelControlID из modalpopupextender) и добавьте событие onclientclick в неескрыть всплывающее окно.
var modalPopup = $find('<%=ModalPopupExtender2.ClientID %>');
modalPopup.hide();
Редактировать: Еще одно решение: 1) Добавить скрытую кнопку (отображать: нет) и назначить ее для TargetControlID modalPE. 2) При событии щелчка клиента btnSet выполните проверку состояния, и еслиусловие выполнено, затем выполните скрытое событие нажатия кнопки (которое вызывает modalPE)