RubyGems - это просто библиотека Ruby. Команда gem
является лишь тонкой оболочкой для библиотеки. Все, что вы можете сделать с помощью команды, вы можете сделать с библиотекой.
На самом деле я никогда не использовал библиотеку, но, думаю, вы хотите посмотреть на Gem :: DepencyInstaller , и код будет выглядеть примерно так ( полностью не проверено только что вытащил из моего ты знаешь что):
ScriptEngineManager manager = new ScriptEngineManager();
ScriptEngine jRubyEngine = manager.getEngineByName("jruby");
String s = "
require 'rubygems'
require 'rubygems/dependency_installer'
Gem::DependencyInstaller.new.install('cucumber')
";
jRubyEngine.eval(s);