Эта программа не берет 32 МБ ничего. Все вместе собранные классы JVM и связанное с ними хранилище кучи могут занимать 32 МБ. Или, добавив накладные расходы на процесс JVM, ваша ОС может сообщить, что она использует 32 МБ.
Самый краткий ответ: вы не собираетесь уменьшать эти накладные расходы памяти, изменяя вашу программу.
Если у вас заканчивается память, дайте ей больше памяти. java -Xmx1g
позволяет куче расти очень большой, до 1 ГБ, если она хочет.