В случае StackOverflowError, увеличение пространства кучи не помогает вообще, так как у вас нет «HeapOverflowError» (обычно проявляется как OutOfMemoryError).
Вместо этого увеличьте размер стека, используйте параметр VM -Xss
(т. Е. Переданный с -J...
перед всеми другими параметрами и аргументами).
Обратите внимание, что обычно ошибка переполнения стека является признаком ошибки в программе, которая в вашем случае была бы Javadoc. Попробуйте более новую версию JDK, если вы этого еще не сделали.