Максимальное количество записей в Elasticsearch

Question

Могу ли я узнать, какое количество записей можно вставить в индекс Elasticsearch? У меня 800k записей, и я попытался запросить _count для конкретного индекса, я получу только 100k записей. Я вставил записи с помощью Java, RestHighLevelClient. Могу ли я проверить, есть ли максимальное число записей, которые можно поместить в индекс? Если да, есть ли предел, могу ли я спросить, что я могу сделать, чтобы обойти?

Answer 1

Каждый индекс Elasticsearch состоит из одного или нескольких сегментов, которые являются внутренним индексом Lucene с жестким ограничением ~ 2 миллиардов (точно равным значению INT_MAX-128) для максимального номера документа, как описано в this ссылка и эта ссылка.

Если вы хотите масштабировать и хранить более 2 миллиардов документов, то увеличьте число основных сегментов вашего индекса, по умолчанию это один основной сегмент от Elasticsearch 7.x. Обратите внимание, что замена основных шардов требует повторной индексации, поэтому заранее спланируйте оптимальное количество основных шардов.