Эта ошибка и сообщение на самом деле приходят от jruby, а не от gem. К счастью, jruby проверяет параметры по умолчанию в переменной среды JRUBY_OPTS.
Итак, попробуйте export JRUBY_OPTS=-J-Xmx1024m
, а затем, когда вы звоните gem install
, jruby должен автоматически запускаться с ограничением памяти в 1024 МБ.