Если у вас уже есть junit4, почему бы вам не использовать contiperf. Он будет делать то, что вы ищете и с аннотациями.
POM идет так.
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.10</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.databene</groupId>
<artifactId>contiperf</artifactId>
<version>2.0.0</version>
<scope>test</scope>
</dependency>
Тестовый класс выглядит так
public class PersonDAOTest {
@Rule
public ContiPerfRule i = new ContiPerfRule();
И настоящий тест выглядит так
@Test
@PerfTest(invocations = 1, threads = 1)
@Required(max = 1200, average = 250)
public void test() {