Наиболее вероятным объяснением является ... как показывают сообщения об ошибках ... на вашей машине недостаточно места подкачки, и операционная система отказывается выделять больше (виртуальной) памяти для JVM.
Если это так, вы можете попробовать добавить больше пространства подкачки; см. man swapon
например.
Другая возможность состоит в том, что ваша JVM достигает лимита ресурсов процесса на объем виртуальной памяти, который он может запросить; см man ulimit
.
В любом случае простое увеличение максимального размера кучи JVM с помощью опции -Xmx ...
НЕ поможет.