Как заставить Elasticsearch выделить частичное слово из поля search_as_you_type? - PullRequest
Новая
       42

Как заставить Elasticsearch выделить частичное слово из поля search_as_you_type?

0 голосов
/ 10 января 2020

У меня проблемы с настройкой поля search_as_you_type с выделением, следуя инструкциям, приведенным здесь https://www.elastic.co/guide/en/elasticsearch/reference/7.x/search-as-you-type.html

Я оставлю серию команд для воспроизведения того, что я вижу. Надеюсь, кто-нибудь может оценить, что мне не хватает:)

  1. создать отображение 
PUT /test_index
{
  "mappings": {
    "properties": {
      "plain_text": {
        "type": "search_as_you_type",
        "index_options": "offsets",
        "term_vector": "with_positions_offsets"
      }
    }
  }
}
вставить документ 
POST /test_index/_doc
{
  "plain_text": "This is some random text"
}
поиск документа 
GET /snippets_test/_search
{
  "query": {
    "multi_match": {
      "query": "rand",
      "type": "bool_prefix",
      "fields": [
        "plain_text",
        "plain_text._2gram",
        "plain_text._3gram",
        "plain_text._index_prefix"
      ]
    }
  },
  "highlight" : {
    "fields" : [
      {
        "plain_text": {
          "number_of_fragments": 1,
          "no_match_size": 100
        } 
      }
    ]
  }
}
ответ 
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "test_index",
        "_type" : "_doc",
        "_id" : "rLZkjm8BDC17cLikXRbY",
        "_score" : 1.0,
        "_source" : {
          "plain_text" : "This is some random text"
        },
        "highlight" : {
          "plain_text" : [
            "This is some random text"
          ]
        }
      }
    ]
  }
}

Ответ, который я получаю, не имеет подсветки, которую я ожидаю В идеале, выделение: This is some <em>ran</em>dom text

1 Ответ

1 голос
/ 17 февраля 2020

Чтобы добиться выделения n-граммов (символов), вам понадобится:

  • пользовательский токенайзер ngram. По умолчанию максимальная разница между min_gram и max_gram равна 1, поэтому в моем примере выделение будет работать только для поисковых терминов длиной 3 или 4. Вы можете изменить это и создать больше n-грамм, установив более высокое значение для index.max_ngram_diff.
  • пользовательский анализатор на основе пользовательского токенизатора
  • в отображении добавить поле "plain_text.highlight"

Вот конфигурация: 

{
  "settings": {
    "analysis": {
      "analyzer": {
        "partial_words" : {
          "type": "custom",
          "tokenizer": "ngrams",
          "filter": ["lowercase"]
        }
      },
      "tokenizer": {
        "ngrams": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 4
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "plain_text": {
        "type": "text",
        "fields": {
          "shingles": { 
            "type": "search_as_you_type"
          },
          "ngrams": {
            "type": "text",
            "analyzer": "partial_words",
            "search_analyzer": "standard",
            "term_vector": "with_positions_offsets"
          }
        }
      }
    }
  }
}

запрос: 

{
  "query": {
    "multi_match": {
      "query": "rand",
      "type": "bool_prefix",
      "fields": [
        "plain_text.shingles",
        "plain_text.shingles._2gram",
        "plain_text.shingles._3gram",
        "plain_text.shingles._index_prefix",
        "plain_text.ngrams"
      ]
    }
  },
  "highlight" : {
    "fields" : [
      {
        "plain_text.ngrams": { } 
      }
    ]
  }
}

и результат: 

    "hits": [
        {
            "_index": "test_index",
            "_type": "_doc",
            "_id": "FkHLVHABd_SGa-E-2FKI",
            "_score": 2,
            "_source": {
                "plain_text": "This is some random text"
            },
            "highlight": {
                "plain_text.ngrams": [
                    "This is some <em>rand</em>om text"
                ]
            }
        }
    ]

Примечание: в некоторых случаях эта конфигурация может быть дорогой для использования памяти и хранения.

...