Elasti c search (Kibana) - пересечение между логическими результатами - PullRequest
Новая
       31

Elasti c search (Kibana) - пересечение между логическими результатами

1 голос
/ 25 апреля 2020

Я столкнулся с проблемой в Кибане, как правильно фильтровать данные. В основном моя цель состоит в том, чтобы отфильтровать тесты PASSED или FAILED из следующей структуры данных. 

{
 "_index":"qa-reporting-2020-04",
 "_type":"qa-reporting",
 "_id":"456.0",
 "_version":1,
 "_score":null,
 "_source":{
  "TestId":"CXXX01",
  "TestStatus":0,
  "Issues":[
  ],
  "MetaData":{
     "TestName":"Test1",
     "LastException":null,
     "DurationMs":1980.5899000000002,
     "Platform":{
        "BrowserName":"chrome",
        "OS":"windows",
        "OsVersion":"10"
     },
     "Categories":[
        "Cat1",
        "Cat2",
        "CXXX01"
     ],
     "Priority":null,
     "TestStatusStr":"Passed",
     "JobName":"My-Demo/dev/ServerJob1",
     "Logs":"PASS  - Passed - CXXX01",
     "SuiteName":"Tests.ServerTests",
     "LastMessage":"PASS  - Passed - CXXX01: \n",
     "Environment":"dev"
  }
 }
}

Проблема заключается в том, что в течение времени (дня) в журналах будет несколько записей (например, тест не пройден, а затем в в этот же день испытание прошло). У меня есть запрос агрегации, который дает мне оба результата, что нежелательно. Я хочу получить результат, возвращающий пересечение, чтобы отчет содержал либо неудачные / пройденные тесты.

Вот мой запрос (я начинающий), который дает мне агрегацию для указанного c теста, который не прошел и прошел . 

GET qa-reporting-*/_search
{"size": 0, 
 "query": {
  "bool": {
  "must": [
    {
      "match": {
        "MetaData.Environment": "dev"
      }
    },
    {
      "match": {
        "TestId": "CXXX01"
      }
    },
    {
      "range": {
        "Created": {
          "gte": "now-0d/d"
        }
      }
    }
  ]
}
},
"aggs": {
"tests": {
  "terms": {"field": "MetaData.TestStatusStr.keyword"}
  }
 }
}

Возвращает следующее (выдержка из всего объекта) 

"aggregations": {
"tests": {
  "doc_count_error_upper_bound": 0,
  "sum_other_doc_count": 0,
  "buckets": [
    {
      "key": "Passed",
      "doc_count": 10
    },
    {
      "key": "Failed",
      "doc_count": 1
    }
  ]
 }
}

Как упоминалось выше, как получить пересечение между неудачными / пройденными тестами в течение указанной c даты. время? Возможно ли сделать это в Кибане, или это нужно решить на уровне сценария вне его?

В настоящее время мой отчет выглядит так: 

 DateTime        | TestId | Status
 Apr 24,12:00    | CXXX01 | Failed
 Apr 24,15:00    | CXXX01 | Passed

Требуемый отчет будет только пересечение вышеуказанного статуса 

 Apr 24   | CXXX01 | Failed

или 

 Apr 24   | CXXX01 | Passed

Так что последний результат будет иметь больший вес, я думаю.

1 Ответ

0 голосов
/ 25 апреля 2020

Я взял данные за два дня. Две записи на каждый день. Последняя запись для первого дня - «Сбой», а последняя запись для второго дня - «Пройдено»

Данные: 

"hits" : [
      {
        "_index" : "index19",
        "_type" : "_doc",
        "_id" : "QKlosXEBuBOc-UQkKecO",
        "_score" : 1.0,
        "_source" : {
          "TestId" : "CXXX01",
          "TestStatus" : 0,
          "Issues" : [ ],
          "Created" : "2020-04-23T01:00:00",
          "MetaData" : {
            "TestName" : "Test1",
            "LastException" : null,
            "DurationMs" : 1980.5899000000002,
            "Platform" : {
              "BrowserName" : "chrome",
              "OS" : "windows",
              "OsVersion" : "10"
            },
            "Categories" : [
              "Cat1",
              "Cat2",
              "CXXX01"
            ],
            "Priority" : null,
            "TestStatusStr" : "Passed",
            "JobName" : "My-Demo/dev/ServerJob1",
            "Logs" : "PASS  - Passed - CXXX01",
            "SuiteName" : "Tests.ServerTests",
            "LastMessage" : "PASS  - Passed - CXXX01: \n",
            "Environment" : "dev"
          }
        }
      },
      {
        "_index" : "index19",
        "_type" : "_doc",
        "_id" : "QalosXEBuBOc-UQkieeR",
        "_score" : 1.0,
        "_source" : {
          "TestId" : "CXXX01",
          "TestStatus" : 0,
          "Issues" : [ ],
          "Created" : "2020-04-23T10:00:00",
          "MetaData" : {
            "TestName" : "Test1",
            "LastException" : null,
            "DurationMs" : 1980.5899000000002,
            "Platform" : {
              "BrowserName" : "chrome",
              "OS" : "windows",
              "OsVersion" : "10"
            },
            "Categories" : [
              "Cat1",
              "Cat2",
              "CXXX01"
            ],
            "Priority" : null,
            "TestStatusStr" : "Failed",
            "JobName" : "My-Demo/dev/ServerJob1",
            "Logs" : "PASS  - Passed - CXXX01",
            "SuiteName" : "Tests.ServerTests",
            "LastMessage" : "PASS  - Passed - CXXX01: \n",
            "Environment" : "dev"
          }
        }
      },
      {
        "_index" : "index19",
        "_type" : "_doc",
        "_id" : "QqlosXEBuBOc-UQkoue4",
        "_score" : 1.0,
        "_source" : {
          "TestId" : "CXXX01",
          "TestStatus" : 0,
          "Issues" : [ ],
          "Created" : "2020-04-24T10:00:00",
          "MetaData" : {
            "TestName" : "Test1",
            "LastException" : null,
            "DurationMs" : 1980.5899000000002,
            "Platform" : {
              "BrowserName" : "chrome",
              "OS" : "windows",
              "OsVersion" : "10"
            },
            "Categories" : [
              "Cat1",
              "Cat2",
              "CXXX01"
            ],
            "Priority" : null,
            "TestStatusStr" : "Failed",
            "JobName" : "My-Demo/dev/ServerJob1",
            "Logs" : "PASS  - Passed - CXXX01",
            "SuiteName" : "Tests.ServerTests",
            "LastMessage" : "PASS  - Passed - CXXX01: \n",
            "Environment" : "dev"
          }
        }
      },
      {
        "_index" : "index19",
        "_type" : "_doc",
        "_id" : "Q6losXEBuBOc-UQkwecl",
        "_score" : 1.0,
        "_source" : {
          "TestId" : "CXXX01",
          "TestStatus" : 0,
          "Issues" : [ ],
          "Created" : "2020-04-24T11:00:00",
          "MetaData" : {
            "TestName" : "Test1",
            "LastException" : null,
            "DurationMs" : 1980.5899000000002,
            "Platform" : {
              "BrowserName" : "chrome",
              "OS" : "windows",
              "OsVersion" : "10"
            },
            "Categories" : [
              "Cat1",
              "Cat2",
              "CXXX01"
            ],
            "Priority" : null,
            "TestStatusStr" : "Passed",
            "JobName" : "My-Demo/dev/ServerJob1",
            "Logs" : "PASS  - Passed - CXXX01",
            "SuiteName" : "Tests.ServerTests",
            "LastMessage" : "PASS  - Passed - CXXX01: \n",
            "Environment" : "dev"
          }
        }
      }
    ]

Запрос: Я использовал date_histogram для создания корзины каждого дня и top_hits агрегации для получения последнего документа того дня 

{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "MetaData.Environment": "dev"
          }
        },
        {
          "match": {
            "TestId": "CXXX01"
          }
        },
        {
          "range": {
            "Created": {
              "gte": "now-3d/d"
            }
          }
        }
      ]
    }
  },
  "aggs": {
    "daily":{
      "date_histogram": {
        "field": "Created",
        "interval": "day"
      },
      "aggs": {
        "last_result": {
          "top_hits": {
            "size": 1,
            "_source": ["MetaData.TestStatusStr"], 
            "sort": [
              {"Created":"desc"}]
          }
        }
      }
    }
  }
}

Результат: 

"aggregations" : {
    "daily" : {
      "buckets" : [
        {
          "key_as_string" : "2020-04-23T00:00:00.000Z",
          "key" : 1587600000000,
          "doc_count" : 2,
          "last_result" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "index19",
                  "_type" : "_doc",
                  "_id" : "QalosXEBuBOc-UQkieeR",
                  "_score" : null,
                  "_source" : {
                    "MetaData" : {
                      "TestStatusStr" : "Failed"
                    }
                  },
                  "sort" : [
                    1587636000000
                  ]
                }
              ]
            }
          }
        },
        {
          "key_as_string" : "2020-04-24T00:00:00.000Z",
          "key" : 1587686400000,
          "doc_count" : 2,
          "last_result" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "index19",
                  "_type" : "_doc",
                  "_id" : "Q6losXEBuBOc-UQkwecl",
                  "_score" : null,
                  "_source" : {
                    "MetaData" : {
                      "TestStatusStr" : "Passed"
                    }
                  },
                  "sort" : [
                    1587726000000
                  ]
                }
              ]
            }
          }
        }
      ]
    }
  }
...