Возможно, вы путаете положения / смещения векторов терминов с инвертированным индексом.
Терминвекторы не используются для поиска.
Чтобы исключить информацию о близости в фактических списках проводок: используйте IndexOptions.DOCS_ONLY или IndexOptions.DOCS_AND_FREQS. Если вы сделаете это, PhraseQueries не будет работать.
Но если вы готовы принять некоторые неточности, эти настройки могут быть полезны в сочетании со словом ngram (shinglefilters), для быстрой фразы "приближение" ... и, конечно, они полезны для полей, где близость только неприменимо: например, числовые поля, поля уникальных идентификаторов и т. д.