Вы также можете понизить версию Rubygems, однако это далеко не идеально, но для устаревших систем, если вам нужна конкретная версия пакета, вам придется это сделать.
Например, в приложении, над которым я сейчас работаю:
Ruby 1.8.6-p383
RubyGems 1.3.6
Bundler 0.9.26