У нас довольно большой размер индекса (650 ГБ и больше) и много данных, которые, как мы знаем, не будут искать в большинстве случаев.
Поскольку приложение становится медленным, мы ищем какое-то решение. Предпочтительный способ - остаться с Lucene.
Идея состоит в том, чтобы переиндексировать данные во многие индексы и использовать MultiReader, поэтому в большинстве случаев мы можем использовать только некоторые индексы (разделение будет выполнено по дате).
Но иногда мы также переиндексируем некоторые документы, что усложняет задачу. Также мы индексируем много новых документов каждую минуту.
В любом случае, я хотел бы спросить, есть ли какой-нибудь общий способ сделать это (я имею в виду разделение)? Единственное, что я обнаружил, - это SortingMergePolicy и EarlyTerminatingSortingCollector, но, насколько я понимаю, он не работает с пользовательскими сборщиками.
С уважением
Петр