В чем реальная разница между INDEX.TOKENIZER и INDEX.ANALYZER в Lucene 2.9?

Question

С люценом 2.9.1 INDEX.TOKENIZED устарела. Документация говорит, что это просто переименовано в ANALYZER, но я не думаю, что смысл остался прежним. У меня есть приложение на основе 2.3, и я обновляюсь до 2.9, но ожидаемое поведение, похоже, изменилось.

Кто-нибудь знает больше подробностей о INDEX.TOKENIZER против INDEX.ANALYZER?

Answer 1

Полагаю, вы ссылаетесь на поля Field.Index ANALYZED и TOKENIZED?

Это правда, что TOKENIZED Поле устарело. Это было уже с 2,4 .

Field.Index.ANALYZED равен старому Field.Index.TOKENIZED. Не могли бы вы показать, как ваши результаты отличаются от ожидаемого вами поведения?