Возможно, у вас есть другая (не JRuby) реализация ruby, установленная локально, и команда gem
, которую вы запускаете, использует эту другую импл.Выполните:
jruby -S gem install glassfish
Или, если вы используете rvm, переключитесь обратно на JRuby impl:
rvm jruby
gem install glassfish