Я не знаю способа быстрее, чем перебирать все поля. Учитывая, что что-то еще потребует некоторого другого фрагмента кода, чтобы сначала выполнить итерации по всем полям и сохранить аннотации в форме, более оптимизированной для вашего случая использования - что, безусловно, не будет полезно для всех аннотаций - I не ожидал, что вам предоставят что-либо.
Вы оценили скорость простой итерации по полям и обнаружили, что она слишком медленная? Если вам нужно делать это время от времени, возможно, это достаточно быстро. Если вам нужно сделать это несколько раз в одном и том же классе, то вы можете создать кеш для этого самостоятельно, так что вам когда-либо нужно будет перебирать поля любого конкретного класса только один раз.