Да.
Установите для свойства text значение "*", а для свойства ErrorMessage - фактическое сообщение об ошибке. Нечто подобное.
<asp:RequiredFieldValidator id="ValidateMyField" runat="server" text="*"
errormessage="Hey, you must really specify something"
controltovalidate="YourControl" />
Для отображения вы можете использовать display="Dynamic"
, чтобы * занимал только место при фактической ошибке.