Количество сегментов не меняется по мере увеличения размера ConcurrentHashMap.Количество потоков, которые могут получить доступ к коллекции, не так важно, как число активных потоков, обращающихся к карте.Если у вас 4 ядра, то это максимум 4, даже если все, что они делают - это получают доступ к карте и больше ничего не делают.Это крайний пример.
На самом деле, вы имеете тенденцию иметь менее одного потока, обращающегося к карте одновременно, и иногда 2-4 потока, обращающихся к карте, что при использовании сегментов помогает.