Несогласованные результаты агрегатов Searchkick / Elasticsearch - PullRequest
Новая
       63

Несогласованные результаты агрегатов Searchkick / Elasticsearch

0 голосов
/ 07 мая 2020

Во-первых, я буду работать над очисткой вывода IRB (это было из продакшена).

Я использовал некоторые агрегации поисковых запросов в моем приложении Rails. отлично протестировано в разработке сейчас в производстве Я вижу противоречивые результаты. У меня есть данные в полях, которые должны четко отображаться в моих агрегатах.

Вот мои старые добрые данные Active Record - моя модель BudgetItem имеет total: 

irb(main):008:0> BudgetItem.where(budget_id: 3).order(:cbs_item_id).select(:id, :cbs_item_id, :total)
  BudgetItem Load (1.4ms)  SELECT  "budget_items"."id", "budget_items"."cbs_item_id", "budget_items"."total" FROM "budget_items" WHERE "budget_items"."company_id" = 26 AND "budget_items"."budget_id" = $1 ORDER BY "budget_items"."cbs_item_id" ASC LIMIT $2  [["budget_id", 3], ["LIMIT", 11]]
=> #<ActiveRecord::Relation [#<BudgetItem id: 28, company_id: 26, cbs_item_id: 3, total: 0.1e5>, #<BudgetItem id: 29, company_id: 26, cbs_item_id: 12, total: 0.8e5>, #<BudgetItem id: 34, company_id: 26, cbs_item_id: 15, total: 0.1e5>, #<BudgetItem id: 41, company_id: 26, cbs_item_id: 16, total: 0.141e6>, #<BudgetItem id: 35, company_id: 26, cbs_item_id: 18, total: 0.1e5>, #<BudgetItem id: 33, company_id: 26, cbs_item_id: 18, total: 0.12e5>, #<BudgetItem id: 27, company_id: 26, cbs_item_id: 20, total: 0.2e5>, #<BudgetItem id: 6, company_id: 26, cbs_item_id: 23, total: 0.184e6>, #<BudgetItem id: 5, company_id: 26, cbs_item_id: 23, total: 0.2288e6>, #<BudgetItem id: 30, company_id: 26, cbs_item_id: 24, total: 0.45e5>, ...]>

рассчитываем, что это 41

тот же поиск через Searchkick: 

BudgetItem.search("*", where: {budget_id: 3}).count = 41

и даже это: 

irb(main):025:0> BudgetItem.search("*", where: {budget_id: 3, cbs_item_id: 16}).first.total
= 26 AND "budget_items"."id" = $1  [["id", 41]]
=> 0.141e6

Примечание cbs_item_id: 16, total: 0.141e6 (141000) - значение четко в модели.

Теперь я пытаюсь запустить агрегаты на этом: 

irb(main):019:0> BudgetItem.search("*", body_options: { aggs: { cbs: { terms: { field: "cbs_item_id" }, aggs: { "total": { "sum": { "field": "total" } } } } } },  where: {budget_id: 3}).aggs
  BudgetItem Search (5.4ms)  pacific-canbriam-20191213_budget_items_production/_search {"query":{"bool":{"must":{"match_all":{}},"filter":[{"term":{"budget_id":{"value":3}}}]}},"timeout":"11s","_source":false,"size":10000,"aggs":{"cbs":{"terms":{"field":"cbs_item_id"},"aggs":{"total":{"sum":{"field":"total"}}}}}}
=> {"cbs"=>{"doc_count_error_upper_bound"=>0, "sum_other_doc_count"=>13, "buckets"=>[{"key"=>24, "doc_count"=>4, "total"=>{"value"=>90000.0}}, {"key"=>25, "doc_count"=>4, "total"=>{"value"=>114000.0}}, {"key"=>39, "doc_count"=>4, "total"=>{"value"=>107325.0}}, {"key"=>43, "doc_count"=>4, "total"=>{"value"=>209820.0}}, {"key"=>18, "doc_count"=>2, "total"=>{"value"=>22000.0}}, {"key"=>23, "doc_count"=>2, "total"=>{"value"=>412800.0}}, {"key"=>38, "doc_count"=>2, "total"=>{"value"=>13500.0}}, {"key"=>49, "doc_count"=>2, "total"=>{"value"=>161000.0}}, {"key"=>57, "doc_count"=>2, "total"=>{"value"=>20300.0}}, {"key"=>58, "doc_count"=>2, "total"=>{"value"=>32200.0}}]}}

Данные полностью несовместимы и aggs отсутствуют. Обратите внимание, что ключ 16 отсутствует. Самое безумное, что у меня есть еще одна агрегация в другом столбце, и она работает абсолютно нормально. Я что-то упустил? Я уже пробовал settings: {number_of_shards: 1}.

Для большего разочарования это работает: 

  aggs: {
    "grand_total": { "sum": { "field": "total"  } },
   }

Обычный агг для total работает с тем же результатом.

1 Ответ

0 голосов
/ 02 сентября 2020

Попробуйте установить size в агрегации. На основании ответа sum_other_doc_count 13 документов не возвращаются.

...