Если ваша IDE - eclipe, то, разумеется, TPTPT - вещь, но я не уверен насчет того, сколько вещей вы можете автоматизировать.
Но тогда у вас также есть Faban , который представляет собой «жгут для автоматизации запуска серверных тестов, а также контейнер для размещения тестов, позволяющий развертывать новые тесты…»