Может ли Elastic search отклонить запрос, если массовый запрос дважды содержит один и тот же документ с разными свойствами?

Question

Я изучаю Elastic Search, так что прости меня за этот стартовый вопрос.

Сценарий состоит в том, что у нас есть несколько производителей данных, которые отправляют данные в пожарный шланг AWS Kinesis, который настроен для их доставки в поиск AWS Elastic.Возможно, что одни и те же данные публикуются в пожарном шланге Kinesis несколькими производителями данных на основании различных изменений.

Поскольку Kinesis Firehose буферизует запрос и затем массово доставляет его в ES, существует вероятность того, что массовый запрос будет иметь несколько редакций одного и того же документа.

Как обеспечить, чтобы толькопоследний документ обработан?

Как примечание, все документы имеют поле метки времени, обозначающее время последнего изменения для него.

Answer 1

Нет.Elasticsearch не имеет возможности проверить дублирование документа.Тем не менее, вы можете достичь этого многими другими способами.Для получения более подробной информации см. Ссылки ниже

https://www.elastic.co/blog/how-to-find-and-remove-duplicate-documents-in-elasticsearch

https://www.elastic.co/blog/efficient-duplicate-prevention-for-event-based-data-in-elasticsearch