Как справиться с жестким лимитом Lucene? - PullRequest
0 голосов
/ 04 марта 2020

Я только что узнал, что 2 миллиарда документов - это жесткий предел Lucene.

Итак, как я могу справиться, когда количество документов достигает предела? Есть ли какой нибудь способ автоматизации из логста sh?

1 Ответ

1 голос
/ 04 марта 2020

2B документов - это жесткое ограничение в Lucene. Однако в Elasticsearch, поскольку каждый осколок является полноценной поисковой системой Lucene, это означает, что вы можете хранить 2B документ за (основной) осколок .

Итак, простой способ снять это ограничение - убедиться, что в вашем индексе содержится достаточно фрагментов для хранения всех ваших документов. И если этого недостаточно, потому что вы не знаете, сколько документов вы создадите (часто это происходит с данными временных рядов), тогда вы можете настроить основанные на времени индексы и создать новый индекс (с N первичными сегментами). каждый день / неделю / месяц. Это сделало бы ограничения в 2B документов неактуальными.

...