Solr: полоса пунктуации перед указателем

Question

У меня проблема с чередованием знаков препинания из индекса solr Если после слова стоит знак пунктуации, это слово не индексируется должным образом.

Например: если мы индексируем «привет, Джон», ресурс не будет найден по ключевому слову «привет», тогда как при удалении запятой после слова «привет» проблем не будет.

Есть ли FilterFactory, который предполагает удаление знаков препинания? Есть идеи?

Спасибо, Богдан.

Answer 1

Вы можете использовать solr.PatternReplaceFilterFactory, чтобы убрать начальную и конечную пунктуацию с помощью:

<filter class="solr.PatternReplaceFilterFactory"
    pattern="^\p{Punct}*(.*?)\p{Punct}*$"
    replacement="$1"/>

И если вы хотите удалить все знаки препинания в начале и конце, кроме (например) знака доллара перед словом, вы можете использовать это:

<filter class="solr.PatternReplaceFilterFactory"
    pattern="^[\p{Punct}&&[^$]]*(.*?)\p{Punct}*$"
    replacement="$1"/>

Answer 2

Это делается с помощью WordDelimiterFilterFactory. Установите generateWordParts = 1.

Существует также PatternTokenizerFactory , который можно использовать, но я никогда не пробовал.

Answer 3

Использовать PatternReplaceFilterFactory

<!-- remove punctuation -->
    <filter class="solr.PatternReplaceFilterFactory" pattern="^(\p{Punct}*)(.*?)(\p{Punct}*)$" replacement="$2"/>
    <filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.StandardFilterFactory"/>
    <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
  </analyzer>

...