Elasticsearch Reindex API становится медленнее - PullRequest
0 голосов
/ 08 июня 2018

У меня есть индекс с 88 миллионами документов, 0 копиями, 1 осколком на SSD.Когда я использую API переиндексации (с размером 3000, refresh_interval -1), он начинает работать медленнее, когда мы преодолеваем отметку в 50 миллионов.

Я полагаю, ES проверяет, существует ли документ?Есть ли способ переиндексировать и убрать старые идентификаторы документов, чтобы ES могла генерировать новые и быстрее индексировать?

Кроме того, как я могу переиндексировать из определенной точки?У меня проблема в том, что я должен приостановить свою очередь новых входящих документов до завершения переиндексации, а затем переключить псевдоним.Было бы здорово, если бы я мог позволить исходному индексу по-прежнему получать новые документы, а затем начать новый переиндекс, чтобы перемещаться по этим новостным документам, пока происходил большой переиндекс.

1 Ответ

0 голосов
/ 10 июня 2018

Добавлен скрипт floowing в вызов переиндексации для решения проблемы:

ctx.remove('_id');
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...