Вы можете взглянуть на класс Runtime:
Runtime.getRuntime().maxMemory();
но из документации по времени выполнения:
Возвращает максимальный объем памяти, который виртуальная машина Java
будет пытаться использовать. Если нет внутреннего ограничения, то значение
Long.MAX_VALUE будет возвращено