Попробуйте,
function clientValidation(sender, arguments)
{
if (arguments.Value == "hello world")
arguments.IsValid = true;
else
arguments.IsValid = false;
}
РЕДАКТИРОВАТЬ: установить свойство ControlToValidate.
<asp:CustomValidator ID="CustomValidator1" runat="server"
ErrorMessage="You are Not allowed"
ClientValidationFunction="clientValidation"
ValidationGroup="ValidationSummary1"
ControlToValidate="txtbxName">
</asp:CustomValidator>