Я отправляю запросы на массовый индекс вasticsearch и пытаюсь проиндексировать ~ 50 миллионов документов. Из моего приложения, которое отправляет массовые запросы на индексирование, никакого регулирования не происходит, и я удостоверяюсь, что приложение не становится узким местом при отправке запросов на индексирование.
В непиковые часы моего кластера ES, когда количество поисковых запросов очень мало c происходит, при указанной выше скорости индексации скорость очень высока, и она индексирует ~ 4 миллиона документов всего за 1 час, но как только начинается поиск трафика c, скорость индексации начинает ухудшаться и с увеличением трафика поиска c он вряд ли индексирует какие-либо документы.
Я следовал Официальный ES делает c в пуле потоков и в соответствии с этим,
Нет доступных процессоров для поиска в моих узлах данных: 13.
Нет доступных процессоров для index/delete/update and bulk requests: 9.
Но похоже, мои массовые запросы не получают очень меньше потоков записи,
Но как я могу проверить выше, и увеличивает скорость массовой индексации.