Elasticsearch: Как агрегировать и суммировать данные, сгруппированные по некоторым полям, имеющим массив

Question

На основе ниже 2 сообщений мне нужно агрегировать данные на основе:

1. гранулярность (MyHeader.granularity)
2. myType (MyHeader.myType)

3. Валюта.

   {
           "_source": {
               "MyData": {
                   "MyHeader": {
                       "granularity": "Level1",
                       "myType": "YTD",
                       "businessDate": "2018-12-27"
                   },
                   "MyBreakDown": [
                       {
                           "category": null,
                           "Currency": "eur",
                           "MyDetails": [
                               {
                                   "Id": 123,
                                   "myLocalAmount": 100
                               }
                           ]
                       },
                       {
                           "category": null,
                           "Currency": "clf",
                           "MyDetails": [
                               {
                                   "Id": 234,
                                   "myLocalAmount": 130
                               }
                           ]
                       },
                       {
                           "category": null,
                           "Currency": "usd",
                           "MyDetails": [
                               {
                                   "Id": 120,
                                   "myLocalAmount": 250
                               }
                           ]
                       }
                   ]
               }
           }
       },          {
   
           "_source": {
               "MyData": {
                   "MyHeader": {
                       "granularity": "Level1",
                       "myType": "MTD",
                       "businessDate": "2018-12-27"
                   },
                   "MyBreakDown": [
                       {
                           "category": null,
                           "Currency": "eur",
                           "MyDetails": [
                               {
                                   "Id": 123,
                                   "myLocalAmount": 110
                               }
                           ]
                       },
                       {
                           "category": null,
                           "Currency": "clf",
                           "MyDetails": [
                               {
                                   "Id": 234,
                                   "myLocalAmount": 120
                               }
                           ]
                       },
                       {
                           "category": null,
                           "Currency": "usd",
                           "MyDetails": [
                               {
                                   "Id": 120,
                                   "myLocalAmount": 253
                               }
                           ]
                       }
                   ]
               }
           }
       }
   

Здесь я могу выполнить базовое c агрегирование:

"aggs":{
   "by_granularity":{
      "terms":{
         "field":"MyHeader.granularity"
      },
      "aggs":{
         "by_myType ":{
            "terms":{
               "field":"MyHeader.myType"
            }
         }
      }
   }
},
"size":0

Однако, Валюта находится под полем массива и не может чтобы использовать его.

Мне нужна помощь, как также использовать валюту в агрегатах, поэтому она даст мне правильные данные в сегментах.

Ожидается, что данные будут выглядеть примерно так:

Level1->YTD->eur = 100
Level1->YTD->clf= 130
Level1->YTD->usd = 250

Level1->MTD->eur = 110
Level1->MTD->clf = 120
Level1->MTD->usd = 253

PS Индекс не управляется нами, поэтому я не могу ничего изменить в конфиге. Так с нетерпением ждем, чтобы узнать, возможно ли получить такие данные в запросе ES?

Answer 1

Попробуйте этот запрос и упорядочите данные по выводу.

{
    "from": 0,
    "size": 0,
    "_source": {
        "includes": [
            "MyData.MyBreakDown.MyDetails.myLocalAmount"
        ],
        "excludes": []
    },
    "stored_fields": "MyData.MyBreakDown.MyDetails.myLocalAmount",
    "aggregations": {
        "MyData.MyHeader.granularity": {
            "terms": {
                "field": "MyData.MyHeader.granularity",
                "size": 200,
                "min_doc_count": 1,
                "shard_min_doc_count": 0,
                "show_term_doc_count_error": false,
                "order": [
                    {
                        "_count": "desc"
                    },
                    {
                        "_key": "asc"
                    }
                ]
            },
            "aggregations": {
                "MyData.MyHeader.myType": {
                    "terms": {
                        "field": "MyData.MyHeader.myType",
                        "size": 10,
                        "min_doc_count": 1,
                        "shard_min_doc_count": 0,
                        "show_term_doc_count_error": false,
                        "order": [
                            {
                                "_count": "desc"
                            },
                            {
                                "_key": "asc"
                            }
                        ]
                    },
                    "aggregations": {
                        "MyData.MyBreakDown.Currency": {
                            "terms": {
                                "field": "MyData.MyBreakDown.Currency",
                                "size": 10,
                                "min_doc_count": 1,
                                "shard_min_doc_count": 0,
                                "show_term_doc_count_error": false,
                                "order": [
                                    {
                                        "_count": "desc"
                                    },
                                    {
                                        "_key": "asc"
                                    }
                                ]
                            },
                            "aggregations": {
                                "MyData.MyBreakDown.MyDetails.myLocalAmount": {
                                    "terms": {
                                        "field": "MyData.MyBreakDown.MyDetails.myLocalAmount",
                                        "size": 10,
                                        "min_doc_count": 1,
                                        "shard_min_doc_count": 0,
                                        "show_term_doc_count_error": false,
                                        "order": [
                                            {
                                                "_count": "desc"
                                            },
                                            {
                                                "_key": "asc"
                                            }
                                        ]
                                    }
                                }
                            }
                        }
                    }
                }
            }
        }
    }
}