Дефисы здесь не проблема, если вы используете что-то вроде StandardTokenizer, который разделяется на токены, такие как дефисы, тогда пользователи, ищущие «баскетбол», будут соответствовать исходному тексту «Баскетбол» (и наоборот) так что никаких проблем нет.
Проблема идет между двумя словами и эквивалентами одного слова, например, «баскетбол» и «баскетбол». В основном вам нужно использовать синонимы (например, куртка / пальто или в вашем случае баскетбол / 'баскетбольный мяч').
Вы можете преодолеть это, создав список эквивалентных слов самостоятельно или воспользовавшись словарем, подобным WordNet , и добавив в индекс или поиск синонимы для каждого термина. Solr имеет SynonymFilter , который вы, вероятно, можете использовать (см. Также здесь ).
EDIT:
Вот код для очень простого фильтра синонимов, который я написал некоторое время назад. Синонимы не являются внешними, но вы легко можете добавить это сами.
public class SynonymFilter extends TokenFilter {
private static final Logger log = Logger.getLogger(SynonymFilter.class);
private Stack<Token> synStack = new Stack<Token>();
static CharArrayMap<String[]> synLookup = new CharArrayMap<String[]>(5, true);
static {
synLookup.put("basketball".toCharArray(), new String[]{"basket ball"});
synLookup.put("trainer".toCharArray(), new String[]{"sneaker"});
synLookup.put("burger".toCharArray(), new String[]{"hamburger"});
synLookup.put("bike".toCharArray(), new String[]{"bicycle", "cycle"});
}
// TODO reverse map all the syns to each other e.g. sneaker to trainer
protected SynonymFilter(TokenStream input) {
super(input);
}
@Override
public Token next(Token reusableToken) throws IOException {
if (synStack.size() > 0)
return synStack.pop();
Token nextToken = input.next(reusableToken);
if (nextToken != null) {
addSynonyms(nextToken);
}
return nextToken;
}
private void addSynonyms(Token nextToken) {
char[] word = Arrays.copyOf(nextToken.termBuffer(), nextToken.termLength());
String[] synonyms = synLookup.get(word);
if (synonyms != null) {
for (String s : synonyms) {
if (!equals(word, s)) {
char[] chars = s.toCharArray();
Token synToken = new Token(chars, 0, chars.length, nextToken.startOffset(), nextToken.endOffset());
synToken.setPositionIncrement(0);
synStack.add(synToken);
log.info("Found synonym: " + s + " for: " + new String(nextToken.term()));
}
}
}
}
public static boolean equals(char[] word, String subString) {
return equals(word, word.length, subString);
}
public static boolean equals(char[] word, int len, String subString) {
if (len != subString.length())
return false;
for (int i = 0 ; i < subString.length(); i++) {
if (word[len - i - 1] != subString.charAt(subString.length() - i - 1))
return false;
}
return true;
}
}