Среднее различие, рассчитанное между двумя полями даты - PullRequest
Новая
       67

Среднее различие, рассчитанное между двумя полями даты

0 голосов
/ 11 марта 2020

Я работаю над проектом, который использует Elasticsearch для хранения данных и отображения сложной статистики.

У меня есть индекс , который выглядит следующим образом: 

Reservation {
  id: number
  check_in: Date
  check_out: Date
  created_at: Date
  // other fields...
}

Мне нужно вычислить среднюю дневную разницу между check_in и created_at из моих Reservation с в указанных c диапазон дат и отображение результата в виде числа.

Я пробовал это query: 

{
  "script_fields": {
    "avgDates": {
      "script": {
        "lang": "expression",
        "source": "doc['created_at'].value - doc['check_in'].value"
      }
    }
  },
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "created_at": {
              "gte": "{{lastMountTimestamp}}",
              "lte": "{{currentTimestamp}}"
            }
          }
        }
      ]
    }
  },
  "size": 0,
  "aggs": {
    "avgBetweenDates": {
      "avg": {
        "field": "avgDates"
      }
    }
  }
}

Поля дат сохраняются в ISO 8601 форма (например: 2020-03-11T14: 25: 15 + 00: 00), я не знаю, может ли это вызвать проблемы.

Это ловит некоторые попадания, поэтому запрос работает для конечно! но он всегда возвращает null в качестве значения агрегации avgBetweenDates.

Мне нужен такой результат: 

"aggregations": {
    "avgBetweenDates": {
        "value": 3.14159 // Π is just an example!
    }
}

Любые идеи помогут!

Спасибо.

Ответы [ 2 ]

1 голос
/ 12 марта 2020

Scripted Fields не являются сохраненными полями в ES. Вы можете выполнять агрегирование только для сохраненных полей, поскольку scripted fields создаются на лету.

Вы можете просто переместить логи скрипта c в Среднее агрегирование , как показано ниже. Обратите внимание, что для понимания я создал образец сопоставления, документы, запрос и ответ.

Сопоставление: 

PUT my_date_index
{
  "mappings": {
    "properties": {
      "check_in":{
        "type":"date",
        "format": "date_time"
      },
      "check_out":{
        "type": "date",
        "format": "date_time"
      },
      "created_at":{
        "type": "date",
        "format": "date_time"
      }
    }
  }
}

Образцы документов: 

POST my_date_index/_doc/1
{
  "check_in": "2019-01-15T00:00:00.000Z",
  "check_out": "2019-01-20T00:00:00.000Z",
  "created_at": "2019-01-17T00:00:00.000Z"
}

POST my_date_index/_doc/2
{
  "check_in": "2019-01-15T00:00:00.000Z",
  "check_out": "2019-01-22T00:00:00.000Z",
  "created_at": "2019-01-20T00:00:00.000Z"
}

Aggregation Query: 

POST my_date_index/_search
{
  "size": 0,
  "aggs": {
    "my_dates_diff": {
      "avg": {
        "script": """
          ZonedDateTime d1 = doc['created_at'].value;
          ZonedDateTime d2 = doc['check_in'].value;
          long differenceInMillis = ChronoUnit.MILLIS.between(d1, d2);
          return Math.abs(differenceInMillis/86400000);
        """
      }
    }
  }
}

Обратите внимание, что вы хотели разницу в количестве дней . Приведенный выше лог c делает это.

Ответ: 

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "my_dates_diff" : {
      "value" : 3.5              <---- Average in Number of Days
    }
  }
}

Надеюсь, это поможет!

1 голос
/ 12 марта 2020

Сценарии, созданные в контексте _search, могут использоваться только в этой области . Они не видны внутри aggregations! Это означает, что вам придется go либо с помощью

  • переместить скрипт в раздел aggs, а выполнить avg там
  • a агрегированное метри c агрегация (довольно медленная и трудная для понимания)
  • или создание поля dateDifference во время индекса (предпочтительно int - разница временных меток ), который позволит вам выполнять мощные числовые c агги, такие как расширенная статистика , которые обеспечивают статистически полезный вывод, такой как: 
{
    ...

    "aggregations": {
        "grades_stats": {
           "count": 2,
           "min": 50.0,
           "max": 100.0,
           "avg": 75.0,
           "sum": 150.0,
           "sum_of_squares": 12500.0,
           "variance": 625.0,
           "std_deviation": 25.0,
           "std_deviation_bounds": {
            "upper": 125.0,
            "lower": 25.0
           }
        }
    }
}

и всегда быстрее, чем вычисление метки времени различия со скриптом.

...