Ничего специфического для Java ... Вам просто нужно отправить результат, который не ожидался (т.е. не-xml, если вы указали, что вход должен быть xml в вызове jQuery ajax), или вернуть заголовок, отличный от http 200.
Обратите внимание, что если вы используете jsonp, обратный вызов ошибки не работает.
Если вы хотите вызвать ошибку приложения, вам лучше вернуть код ошибки как часть ваших данных, а затем обработать ошибку в функции обратного вызова success.