У меня была такая же проблема.
sqlite3-ruby версии 1.2.3 кажется несовместимым с Ruby 1.9. Версия 1.2.4 (возможно) совместима, но бинарная версия Windows так и не была выпущена, и сопровождающий объявил, что он отказался от сборки и выпуска для Windows.
Согласно этому посту кто-то работает над исправлением, но его пока нет.
Так что это будет бесполезный ответ, так как до сих пор ни одно из моих исследований не нашло исправления, доступного сейчас. Похоже, что сегодня можно получить настройки Windows Ruby / Rails для разработки, либо перейти на MySQL для базы данных разработки, либо вернуться на Ruby 1.8.7.