Итератор или указатель будет иметь одинаковую производительность в большинстве реализаций - обычно векторный итератор является указателем. Индекс должен вычислять указатель каждый раз, но оптимизатор может иногда позаботиться об этом. В целом, как сказал другой комментатор, нет смысла оптимизировать это для производительности.
Все это говорит о том, что я, вероятно, пойду с итератором, так как при необходимости проще перейти на другой тип контейнера.