Jenkins использует настройки виртуальной машины по умолчанию, если вы запустили Jenkins через java -jar jenkins.war, в противном случае, если вы запустили jenkins через Tomcat и т. Д., Значения по умолчанию будут поступать через Tomcat (Jetty или любой другой). В tomcat вы можете установить JAVA_OPTS до того, как Tomcat начнет определять подобные вещи.
Кроме того, настройки для Maven могут контролироваться переменной среды MAVEN_OPTS, которая также может быть установлена для каждой сборки в Jenkins. Посмотрите на конфигурацию работы для вашей работы. Разумные значения для такой настройки зависят от того, что делает ваша сборка, чего я не знаю.