Ваши наблюдения верны, но есть важная деталь: это относится к одному запросу - то есть один запрос использует только один поток / ядро. Несколько запросов будут использовать несколько потоков, поэтому в вашем случае вы сможете обрабатывать больше одновременных пользователей.
Для оптимизации в случае использования одного запроса разделение индекса на несколько сегментов, как вы говорите,путь. В этом случае запрос будет эффективно разделен на четыре отдельных запроса, а затем вместо этого объединен.
Нет жестких ограничений на время разделения, поскольку это будет зависеть от вашего варианта использования и профиля запроса.