JConsole может помочь в просмотре использования памяти Java.
Если вы используете существующую библиотеку Java-OpenGL, возможно, она использует прямые буферы, которые могут не освобождаться. Если вы сами написали нативный код, это, вероятно, не подойдет.
Что касается встроенной памяти, если ваша библиотека Java-OpenGL использует прямые буферы, я заметил только в JDK 7 (я запускаю предварительную версию), что в JConsole есть некоторые дополнительные MBean-компоненты, которых нет в предыдущих версиях это может помочь. Взгляните на вкладку MBeans в JConsole под java.nio.BufferPool. Под «прямым» компонентом вы можете видеть память, занятую прямыми буферами. Если это будет продолжаться, это может указывать на прямую утечку памяти (возможно, из-за того, что вы не закрыли / не удалили ресурсы OpenGL в вашем коде Java).