Суть в том, что ограничение, которое вы видите, на самом деле не является наложенным пределом JVM. Так что переход на JRockit не поможет.
Большинство 32-разрядных операционных систем Windows ограничивают виртуальную память для пользовательского приложения (например, JVM) до 2 ГБ. Тем не менее, есть загрузочный переключатель для Windows Server 2003, который позволяет приложениям до 3 Гб ... на оборудовании, которое поддерживает PAE: http://msdn.microsoft.com/en-us/windows/hardware/gg487508.aspx.
Ваши альтернативы:
- Если вы используете Windows Server 2003 - делайте то, что говорит ссылка.
- Переключиться на 32-битный Linux или 32-битный Solaris. Оба позволяют более 2 ГБ для пользовательских приложений.
- Переключиться на 64-разрядную операционную систему.