Для увеличения памяти самой IDE вам необходимо добавить эти аргументы в jgrasp_portable.bat или winconfig_portable.bat
Однако из вашего вопроса кажется, что вы хотите добавить память программе, работающей внутри IDE. Для этого щелкните правой кнопкой мыши проект в jgrasp IDE, перейдите в настройки компилятора - это откроет небольшое всплывающее окно, в котором выберите вкладку компилятора. Там у вас есть вложенные вкладки, выберите «Flags / Args / Main», здесь вы можете добавить размеры кучи JVM. Как и предлагалось в предыдущем ответе, если вам нужно больше памяти прямо при запуске, лучше пометить -Xms и -Xmx в соответствующем размере. Надеюсь, это поможет