Я столкнулся с этой проблемой, используя плагин Maven Surefire (v2.12). Мне пришлось настроить верный огонь следующим образом:
<configuration>
<forkMode>always</forkMode>
... other surefire config ...
</configuration>
Если я опущу элемент "forkMode" в моей конфигурации, я получу ошибку "неспособен создать новый собственный поток", потому что процесс java Surefire создаст тысячи потоков в противном случае, превысив мой предел ОС (Mac OSX - вы это можно увидеть в мониторе активности).
Насколько я могу судить, все новые потоки создаются, потому что по умолчанию «forkMode» в Surefire «один раз», и все новые потоки, которые создаются, не прерываются до тех пор, пока «один» верный процесс не завершится.
Последнее замечание: настройка параметров памяти JVM, похоже, не дала эффекта (хорошего или плохого). Использование значений по умолчанию работало нормально, как и следующее:
<argLine>-Xss512k -Xms512m -Xmx4096m -XX:MaxPermSize=2048m</argLine>