В Java нет механизма для принудительного ограничения использования ресурсов потоков. Единственный способ сделать это - заставить базовую операционную систему сделать это, что, скорее всего, потребует от вас создания отдельной JVM для каждого ограничения, и она не будет переносимой на разные платформы.
Обратите внимание, что вы можете установить ограничение времени ожидания для вызова функции (используя Executor), и большинство операций будет прервано. Это может быть достаточно для вас. Если вам нужно больше, вам снова понадобится операционная система.