В JVM не должно быть внутренних блокировок, препятствующих подобному масштабированию.Существует множество тестов (в частности, SPECjbb2000 и SPECjbb2005), которые показывают масштабирование отдельных JVM до большого числа ядер.Я бы сказал, что вы каким-то образом блокируете потоки, даже если не знаете как.
Вы не перечислите свой уровень JVM, поставщика или ОС.Кроме того, доказательства, свидетельствующие об отсутствии масштабирования, были бы хорошими.Все это необходимо для ответа на вопрос.