Короче говоря, Lucene объединяет индексы для ускорения поиска. Определенно, один индекс работает лучше. Но на практике это не имеет значения, если у вас есть один или 10 индексов, когда они достаточно велики. Время поиска каждого индекса на порядок выше, чем издержки, вызванные наличием нескольких индексов.
Это чисто практическое решение - не сливаться, когда оно не окупается. Вы можете самостоятельно изучить исходные коды lucene и получить стратегию слияния, которую он использует.