Самый простой способ проверить это, если вы используете недавний JDK - это jvisualvm, который позволяет вам подключаться к запущенному процессу. Затем вы можете увидеть сборку мусора, использование памяти и профиль, если это необходимо. (По сути, это соответствующая функциональность NetBeans, доступная как отдельное приложение в JDK).
Он дополняет и улучшает jconsole!
(Но то, что вы описываете, может быть чрезмерным ГХ, вызванным утечкой памяти в вашей программе. Используйте jvisualvm для выяснения)