ElasticSearch справка по дедупликации (я нуб) - PullRequest
Новая
       15

ElasticSearch справка по дедупликации (я нуб)

0 голосов
/ 17 мая 2019

Я работаю над поиском, и мне нужна мудрость ElasticSearch.

Цель : Я пытаюсь получить все Src_ip вместе с, IP_rep и geoip.asn при поиске без дубликатов с сервера NGINX, с которого я беру журналы.

Моя проблема в том, что я получаю нужные мне данные, но есть много дубликатов, и мне было любопытно, если бы кто-нибудь знал, как выполнить этот поиск немного лучше

Поиск ниже (учтите, я все еще новичок) 

GET /logstash-2019.05.17/_search
{
  "aggs": {
    "2": {
      "terms": {
        "field": "src_ip.keyword",
        "size": 5,
        "order": {
          "1": "desc"
        }
      },
      "aggs": {
        "1": {
          "cardinality": {
            "field": "src_ip.keyword"
          }
        },
        "3": {
          "terms": {
            "field": "type.keyword",
            "size": 5,
            "order": {
              "1": "desc"
            }
          },
          "aggs": {
            "1": {
              "cardinality": {
                "field": "src_ip.keyword"
              }
            }
          }
        }
      }
    }
  }
}
{
 "_source": ["src_ip", "beat.name", "ip_rep", "geoip.asn", "type"],
  "query": {
    "exists": {
      "field": "src_ip.keyword"
    }
  }
}
...