поиск ошибок в Flexiblesearch при применении анализатора / фильтра - PullRequest
Новая
       12

поиск ошибок в Flexiblesearch при применении анализатора / фильтра

1 голос
/ 02 марта 2020

Я скачал набор данных onet, который содержит таксономию навыков, и загрузил его в эластичный поиск. В навыках таксономии есть некоторые навыки, такие как c ++,. net, C#. Я хочу дать c# и получить только c# в навыках. проверив некоторые ссылки , я установил отображение и настройки моего индекса, как показано ниже. 

{
  "onnet_taxonomy": {
    "mappings": {
      "text": {
        "properties": {
          "Occupation": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "Skill": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "Skill Type": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      },
      "keywords": {
        "properties": {
          "Occupation": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "Skill": {
            "type": "text",
            "fields": {
              "analyzed": {
                "type": "text",
                "analyzer": "analyzer_keyword",
                "search_analyzer": "analyzer_shingle"
              },
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "Skill Type": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    },
    "settings": {
      "index": {
        "number_of_shards": "5",
        "provided_name": "onnet_taxonomy",
        "creation_date": "1583114276039",
        "analysis": {
          "filter": {
            "my_shingle_filter": {
              "max_shingle_size": "8",
              "min_shingle_size": "2",
              "output_unigrams": "true",
              "type": "shingle"
            }
          },
          "analyzer": {
            "analyzer_keyword": {
              "filter": [
                "lowercase"
              ],
              "char_filter": [
                "code_mapping"
              ],
              "type": "custom",
              "tokenizer": "keyword"
            },
            "analyzer_shingle": {
              "filter": [
                "lowercase",
                "my_shingle_filter"
              ],
              "char_filter": [
                "code_mapping"
              ],
              "tokenizer": "standard"
            }
          },
          "char_filter": {
            "code_mapping": {
              "type": "mapping",
              "mappings": [
                "++ => plusplus",
                "c# => csharp",
                "C# => csharp",
                "F# => fsharp",
                "f# => fsharp",
                ".net => dotnet",
                ".Net => dotnet",
                ".NET => dotnet",
                "( => map_lp",
                ") => map_rp",
                "& => and",
                "# => hash",
                "+ => plus"
              ]
            }
          }
        },
        "number_of_replicas": "1",
        "uuid": "LNf2frW1S8WmHSOJWVrvLA",
        "version": {
          "created": "5030399"
        }
      }
    }
  }
}

когда я использую запрос, как показано ниже 

{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "Skill": "c++"
          }
        }
      ]
    }
  },
  "size": 10

я получаю все навыки, которые имеют 'c'

, когда я использую запрос, как показано ниже, при условии, что анализатор применяется 

    {
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "Skill.analyzed": "c++"
          }
        }
      ]
    }
  },
  "size": 10
}

Я получаю пустой вывод. я правильно включил анализатор или мой запрос неверный?

1 Ответ

1 голос
/ 02 марта 2020

Я просто упростил ваш вопрос и для простоты предположим, что у вас просто есть 1 поле с именем title, которое содержит различные языки, такие как c, c++, c# f#.

Настройки индекса и отображение для этого поля title. 

{
    "settings": {
        "index": {
            "analysis": {
                "analyzer": {
                    "my_analyzer": {
                        "filter": [
                            "lowercase"
                        ],
                        "char_filter": [
                            "code_mapping"
                        ],
                        "tokenizer": "standard" --> notice `standard`
                    }
                },
                "char_filter": {
                    "code_mapping": {
                        "type": "mapping",
                        "mappings": [
                            "++ => plusplus",
                            "c# => csharp",
                            "C# => csharp",
                            "F# => fsharp",
                            "f# => fsharp",
                            ".net => dotnet",
                            ".Net => dotnet",
                            ".NET => dotnet",
                            "( => map_lp",
                            ") => map_rp",
                            "& => and",
                            "# => hash",
                            "+ => plus"
                        ]
                    }
                }
            }
        }
    },
    "mappings": {
        "properties": {
            "title": {
                "type": "text",
                "analyzer": "my_analyzer" --> using custom analyzer created in settings
            }
        }
    }
}

Индексирование некоторых документов

POST / _doc / {do c -is} 

{
    "title": "c#"
}
{
    "title": "c++"
}
{
    "title": "c"
}
{
    "title": "F#"
}

Поисковый запрос, предоставленный вам в вашем вопросе, который выбирает все записи, которые содержат c. 

{
    "query": {
        "bool": {
            "must": [
                {
                    "match": {
                        "title": "c++"
                    }
                }
            ]
        }
    },
    "size": 10
}

Для меня сейчас он возвращает только те документы, которые содержат только c++ как показано в результатах моего поиска API. 

"hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 0.9808292,
        "hits": [
            {
                "_index": "cplus",
                "_type": "_doc",
                "_id": "1",
                "_score": 0.9808292,
                "_source": {
                    "title": "c++"
                }
            }
        ]
    }
...