У меня есть индекс ElasticSearch с огромным размером, 100 ГБ.Теперь индексация / добавление документов в этот индекс идет медленно.
Я искал решения.Некоторые люди предположили, что один из подходов заключается в использовании нескольких процессов для индексации / добавления документов.
Но я думаю, что узкое место на стороне сервера ElasticSearch в этом случае, несколько процессов добавили бы дополнительную нагрузку на ElasticSearch.
Я не вижу большого улучшения в скорости индексации.Напротив, я видел, как процессы сообщали об ошибках, таких как «ошибки соединенияasticsearch», и процессы завершались.
Но если у меня только один запущенный процесс индексации / добавления документов, я видел гораздо меньше сообщений об ошибках ElasticSearch.
Когда размер индекса невелик.Я использую несколько процессов для добавления / индексации документов, и это прекрасно работает.
Но когда размер индекса огромен, и индексирование становится намного медленнее, и теперь мне действительно нужен подход для ускорения ускорения индексации.Но кажется, что использование нескольких процессов не работает в этом случае, когда ускорение индексации более необходимо.
Я прав?Есть ли в любом случае или дополнительная настройка, которую я могу сделать, чтобы я мог все еще использовать несколько процессов индексации / добавления документов для ускорения индексации в этом случае использования?
Спасибо!