Вы можете использовать OnClientClick в вашем серверном элементе управления следующим образом:
<asp:Button ID="Button1" runat="server" Text="Button" OnClientClick="window.open('Popup.aspx',null,'height=250, width=250,status= no, resizable= no, scrollbars=no, toolbar=no,location=no,menubar=no ');" />
Для модального всплывающего окна типа "AJAX", можете ли вы дать более подробную информацию о вашей проблеме?