ElasticSearch - получить несколько вхождений

Question

Допустим, у меня есть некоторые данные вasticsearch, и я хотел бы получить все записи, где определенное поле присутствует более одного раза.Например:

{id:1, name: "bob", "age":30}
{id:2, name: "mike", "age":20}
{id:3, name: "bob", "age":30}
{id:4, name: "sarah", "age":40}
{id:5, name: "mike", "age":35}

Я хочу запрос, который будет возвращать несколько вхождений по имени.Таким образом, он должен вернуть следующие записи:

{id:1, name: "bob", "age":30}
{id:2, name: "mike", "age":20}
{id:3, name: "bob", "age":30}
{id:5, name: "mike", "age":35}

Таким образом, id: 4 исключен, так как имя 'sarah' встречается только в одном документе.Более предпочтительный возврат будет выглядеть примерно так:

{"name": "bob", "count":2}
{"name": "mike", "count":2}

, но может работать с первым запросом возврата, если его проще.

Answer 1

Вы можете использовать то, что называется Aggregations в Elasticsearch.Если вы просто ищете дубликаты имен, вы можете использовать Terms Aggregation.

Вот пример.Вы можете настроить свои данные так:

PUT testing/_doc/1
{
  "name": "bob",
  "age": 30
}

PUT testing/_doc/2
{
  "name": "mike",
  "age": 20
}

PUT testing/_doc/3
{
  "name": "bob",
  "age": 30
}

PUT testing/_doc/4
{
  "name": "sarah",
  "age": 40
}

PUT testing/_doc/5
{
  "name": "mike",
  "age": 20
}

Затем запустите агрегацию:

GET testing/_doc/_search
{
  "size": 0,
  "query": {
    "match_all": {}
  },
  "aggs": {
    "duplicates": {
      "terms": {
        "field": "name.keyword",
        "min_doc_count": 2
      }
    }
  }
}

Это даст вам ответ, подобный следующему:

{
  "took": 6,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 5,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "duplicates": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "bob",
          "doc_count": 2
        },
        {
          "key": "mike",
          "doc_count": 2
        }
      ]
    }
  }
}

Важной частью является aggregations.duplicates.buckets, где "name" отображается в "key".