Интересно. Что происходит, когда вы устанавливаете максимальную память на 513M?
Если это не поможет, возможно, это проблема, которую я давно не видел. Древний компилятор COBOL, который я использовал, отказывался работать на ПК с 640 КБ ОЗУ, потому что они использовали проверку номера со знаком, чтобы определить, достаточно ли памяти.
И в этом мире на 640K фактически был установлен старший бит, следовательно, он был отрицательным числом, поэтому проверка всегда заканчивалась неудачей.
Мне трудно поверить, что это произойдет в современном мире, но, возможно, стоит взглянуть.
Если это не терпит неудачу на 513M, то может просто случиться так, что вы пытаетесь выделить слишком много памяти. Это не обязательно физическая память, которая имеет значение, адресное пространство может быть проблемой, но вы должны иметь 2G (как минимум) этого также в 32-битной Windows.
С вашими показанными настройками вы используете 1G только для permgen и heap. Попробуйте настроить их, пока они не сработают, и опубликуйте имеющиеся у вас цифры.