Вы должны не только использовать GC, но и отбрасывать ссылки на объекты, которые вам больше не нужны - GC не будет восстанавливать ссылочные объекты. Вы также должны тщательно проверить, что делает библиотека JNI, а также принять необходимые меры предосторожности на случай, если она выделит память для начальных потоков.
Более подробный ответ невозможен, пока вы не скажете, что используете, и не опубликуете источники