Обновление части документа в Elasticsearch от Kafka - PullRequest
0 голосов
/ 05 декабря 2018

У меня есть несколько коннекторов и разделов Kafka, в которых размещены разные источники данных, но все они содержат ссылку на один и тот же первичный ключ (давайте назовем «id»).Можете ли вы обновить Elasticsearch, используя этот же идентификатор?

Например, источник 1 имеет следующую схему

{
    "id": 123
    "some_value": "yo"
    "details": {}
}

Источник 2 имеет следующую

{
    "id": 123
    "reference": 1
},
{
    "id": 123
    "reference": 2  
}

Есть лиспособ, которым я могу создать ожидаемый результат в ES, чтобы имитировать следующее

{
    "id": 123
    "some_value": "yo"
    "details": [
        {
            "id": 123
            "reference": 1
        },
        {
            "id": 123
            "reference": 2
        }
    ]
}

Я пытался использовать преобразования Кафки с hoistfield, но безуспешно

...