Нет никакого способа сделать это автоматически, но вы можете добавить Before hook в env.rb или поместить его в отдельный файл, и в этом методе вы можете загрузить свое расширение java, введя команду shell, вы можете сохранить pid процесса в переменной убить этот процесс в After callbalk. Вы можете настроить Capybara для запуска сервера на определенном порту, и я думаю, что вы также можете настроить свое приложение на использование определенного порта.