Компиляция - это легкая часть, и я думаю, что ответ AlexR справится с этим отлично.
Тестирование и тестирование JSP сложно, так как для его тестирования действительно необходимо развернуть его в веб-контейнере или смоделировать (смоделировать) его, запустить через браузер или что-то похожее на браузер.
Кактус может помочь в тестировании в контейнере. Селен тоже может.
Или вы можете издеваться над окружающей средой. Если вы используете Spring , у него есть хорошая поддержка для этого.
Но лучший способ справиться со сложностью тестирования и управления JSP - это вообще прекратить использование JSP или, по крайней мере, минимизировать логику в вашем коде JSP, избегая скриплетов.
Поскольку JSP - это просто замаскированный сервлет, всегда можно писать веб-приложения без JSP, и есть варианты с использованием таких фреймворков, как Wicket и Tapestry или шаблонизаторов, таких как Velocity для упрощения разработки веб-приложений на Java без JSP.