Вы решаете проблему, используя устаревшую среду, такую как InstantRails для rails3.
InstantRails не обновлялся почти 3 года, и его последняя версия включает в себя ruby 1.8.6, который несовместим с рельсами 3.
С официального сайта Ruby on Rails:
Мы рекомендуем Ruby 1.8.7 или Ruby 1.9.2 для использования с Rails. Ruby 1.8.6 и более ранние версии не поддерживаются, равно как и версия 1.9.1
Если вы действительно настаиваете на использовании Windows в качестве среды разработки, рекомендуемый способ заставить rails 3 работать на Windows прямо сейчас - установить ruby с помощью установщика Windows: http://rubyforge.org/frs/?group_id=167, а затем просто установить RubyGems, запустив его установочный скрипт, а затем установить rails3 как gem.