На самом деле, запуск апплета внутри Java Web Start (JNLP) позволяет вам указать те же ограничения памяти, что и для обычного Java-приложения. (Xms и Xmx).
JNLP поддерживает апплеты по умолчанию, поэтому в большинстве случаев не требуется никаких изменений кода.