Чтобы JUnit4 мог забрать ваши пользовательские аннотации, вам нужно написать свою собственную реализацию Runner, а затем передать ее в RunWith-аннотацию класса Test.
Вы можете начать с взгляда на BlockJUnit4ClassRunner, который является бегуном реализации по умолчанию для JUnit 4 (если память мне хорошо).
Предполагая, что вы захотите подобрать пользовательскую аннотацию с именем @MyTest вместе с пользовательским бегуном MyRunner, ваш тестовый класс будет выглядеть примерно так:
@RunWith(MyRunner.class)
class Tests {
...
@MyTest
public void assumeBehaviour() {
...
}
}
Ответ «Reid Mac» довольно неплохо показывает, как реализована пользовательская аннотация.