Дайте себе больше места в куче:
java -Xmx512m ...
для 512M и т. Д.
Netbeans даст вам возможность указать параметры виртуальной машины (из которых -Xmx влияет на использование памяти).
Еще один совет: если вы используете компилятор bean-оболочки для Jasper Reports, не делайте этого. Это огромный боров памяти и он медленный. Убедитесь, что вы используете компилятор JDT.