Я думаю, что вы должны быть обеспокоены, потому что классы имеют тенденцию загружаться в пространство perm gen (которое отдельно передается в кучу)
Поскольку вы запускаете компилятор во «время выполнения» (снова и снова по звукам), вы можете получить множество классов, загруженных в perm gen. Если бы я был вами, я бы протестировал систему с гораздо большим количеством файлов, чем вы собираетесь использовать вживую, и посмотрел бы, не угрожает ли вам заполнение разрешения.
Существует опция для JVM, которая будет зависеть от способности JVM выгружать классы во время выполнения. Это может помочь, но я бы порекомендовал вам проверить до и после
-XX:+CMSClassUnloadingEnabled