Индексирование токенов биграммы в Lucene

Question

Мне нужно индексировать биграммы слов (токенов) в Lucene. Я могу произвести n-грамм и индексировать их, но мне интересно, есть ли что-то в Lucene, которое сделает это для меня. Я узнал, что Lucene индексирует только n-грамм символов. Есть идеи?

Answer 1

Используйте NGramTokenizer:

http://lucene.apache.org/java/2_3_2/api/contrib-analyzers/org/apache/lucene/analysis/ngram/NGramTokenizer.html

Answer 2

Класс, который вы ищете, это ShingleFilter: http://lucene.apache.org/java/2_4_0/api/org/apache/lucene/analysis/shingle/ShingleFilter.html

Answer 3

В зависимости от того, зачем вам нужно индексировать биграммы, SpanQuery и / или SnowballAnalyzer может быть полезным.