Фильтр Solr SnowballPorterFilterFactory обеспечивает неправильные предложения - PullRequest
Новая
       19

Фильтр Solr SnowballPorterFilterFactory обеспечивает неправильные предложения

0 голосов
/ 03 июня 2011

Я использую SnowballPorterFilterFactory для анализаторов индекса и запросов. Ищите слово «яблоко». Solr успешно находит необходимые статьи, но сообщает, что слово было написано неверно, и предлагает: «appl». Это работает правильно, если я ищу «яблоки»: нет предложений и найдены статьи со словом «яблоко».

schema.xml: 

<fieldType name="text_en" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords_en.txt" enablePositionIncrements="true"/>
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords_en.txt"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms_en.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords_en.txt" enablePositionIncrements="true"/>
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.SnowballPorterFilterFactory" language="English" protected="protwords_en.txt"/>
  </analyzer>
</fieldType>

Есть идеи, как исключить неправильные предложения?

1 Ответ

2 голосов
/ 21 декабря 2011

Не следует использовать одно и то же поле для поиска и проверки правописания ... Добавить поле без проверки правописания.

Пример: 

<!-- Basic Text Field for use with Spell Correction -->
<fieldType name="textSpell" class="solr.TextField" positionIncrementGap="100">
  <analyzer>
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.ASCIIFoldingFilterFactory"/>
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" preserveOriginal="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
  </analyzer>
</fieldType>

<!-- TextSpell -->
<field name="textSpelling" type="textSpell" indexed="true" stored="false" multiValued="true"/>

Тогда в вашем solrconfig.xml: 

<searchComponent name="spellcheck" class="solr.SpellCheckComponent">
    <lst name="spellchecker">
      <str name="name">default</str>
      <str name="field">textSpelling</str>
      <str name="termSourceField">textSpelling</str>
      <str name="accuracy">0.7</str>
      <str name="spellcheckIndexDir">./spellchecker</str>
      <str name="queryAnalyzerFieldType">text</str>
      <str name="buildOnOptimize">true</str>
    </lst>
</searchComponent>
...