Я думаю, что JBoss запускается файлом bin\run.bat (по крайней мере, я вижу что-то подобное в файле service.bat).
В этом случае должно быть достаточно отредактировать файл run.conf.bat и изменить параметр -XX:MaxPermSize. Этот параметр позволяет настроить размер пространства перманента.