Как можно увеличить лимит / индекс индекса эластичных документов?

Question

Мой серверasticsearch в настоящее время содержит 5B документов.Тем не менее, он прекратил индексирование из нашей БД, и наша БД содержит 7Б записей.В настоящее время у меня есть только 5 осколков:

"number_of_shards": "5",

Как я могу увеличить это?Будет ли это увеличение для большего хранения данных?Сервер 4 ТБ SSD и в настоящее время только 800 ГБ.

Answer 1

Осколок имеет максимальный предел количества документов до 2,1 Б / осколок.Итак, ваша текущая конфигурация шарда должна позволять хранить около 10B документов на индекс.Однако для оптимальной производительности рекомендуется сохранять размер каждого сегмента в пределах 20–50 ГБ, а при перераспределении / восстановлении может возникнуть проблема с размером, превышающим 50 ГБ.

Вы можете увеличить количество основных сегментов до тех пор, покау вас есть оборудование, которое может вместить его.Пожалуйста, обратите внимание, что каждый осколок сам по себе потребляет ресурсы кластера (память / процессор) и имеет затраты на издержки кластера.У нас были некоторые существенные проблемы с производительностью, когда наши кластеры были перегружены.

Каждый осколок Elasticsearch является индексом Lucene.В одном индексе Lucene может быть максимальное количество документов.Начиная с LUCENE-5843, ограничение составляет 2 147 483 519 (= Integer.MAX_VALUE - 128) документов