Используйте OnClientClick для предотвращения поведения отправки формы по умолчанию при нажатии. Если вы сделаете это, вам нужно будет самостоятельно выполнить запрос ajax на ваш сервер.
<asp:Button ID="Button1" OnClientClick="handleRegistrationClientSide(); return false;" runat="server" Text="Button" UseSubmitBehavior="False" />
В противном случае оберните внутреннее содержимое диалогового окна в панель обновлений и активируйте его на кнопке, чтобы вызвать асинхронную обратную передачу.
<div id="myDialog">
<asp:UpdatePanel runat="server">
<ContentTemplate>
...
</ContentTemplate>
<Triggers>
<asp:AsyncPostBackTrigger ControlID="Button1" />
</Triggers>
</asp:UpdatePanel>
</div>