Да, есть максимум, но это зависит от системы. Попробуйте и посмотрите, удваивая, пока не достигнете предела, затем ищите вниз. По крайней мере, с Sun JRE 1.6 на Linux вы получите интересные, если не всегда информативные сообщения об ошибках (peregrino - это нетбук с 32-битной Ubuntu с 2G RAM и без подкачки):
peregrino:$ java -Xmx4096M -cp bin WheelPrimes
Invalid maximum heap size: -Xmx4096M
The specified size exceeds the maximum representable size.
Could not create the Java virtual machine.
peregrino:$ java -Xmx4095M -cp bin WheelPrimes
Error occurred during initialization of VM
Incompatible minimum and maximum heap sizes specified
peregrino:$ java -Xmx4092M -cp bin WheelPrimes
Error occurred during initialization of VM
The size of the object heap + VM data exceeds the maximum representable size
peregrino:$ java -Xmx4000M -cp bin WheelPrimes
Error occurred during initialization of VM
Could not reserve enough space for object heap
Could not create the Java virtual machine.
(experiment reducing from 4000M until)
peregrino:$ java -Xmx2686M -cp bin WheelPrimes
(normal execution)
Большинство говорят сами за себя, за исключением -Xmx4095M, что довольно странно (может быть, сравнение со знаком / без знака?) И что оно претендует на резервирование 2686M на машине 2 ГБ без подкачки. Но это намекает на то, что максимальный размер составляет 4G, а не 2G для 32-битной виртуальной машины, если ОС позволяет вам адресовать столько.