Сначала создайте проект с поддержкой Selenium на Java.Я рекомендую использовать Maven, поскольку это упрощает несколько вещей.Просто напишите несколько тестов, используя эти инструменты.Это может быть полезно: http://www.theserverlabs.com/blog/2008/09/17/automated-integration-testing-with-selenium-maven-and-jetty/
Не против Jetty - это всего лишь утилита сервера приложений.
Пройдя этот начальный этап, вы можете просто настроить новую работу Дженкинса (Хадсон) для просмотра репо для вашего тестового проекта Selenium.Запуск его из Jenkins будет выполнять тесты.
Jenkins будет автоматически генерировать базовые отчеты, вы также можете использовать другие инструменты, такие как Thucydides и Easyb, которые будут поддерживать создание тестов и создание отчетов.