ОК, проблема в том, что ruby 1.8 использовал Test :: Unit в качестве библиотеки тестирования по умолчанию. В ruby 1.9 это изменилось на MiniTest.
Версии ActiveSupport до 3.1.0 предполагали Test :: Unit. Похоже, что это было решено в 3.1.0 и позже. Если вы используете rails 3.0.9, он зависит от activesupport 3.0.9, поэтому вы не можете запросить более поздние версии в своем Gemfile.
Найдено это через Google. По-видимому, библиотека Test :: Unit по-прежнему доступна, но в виде гема с именем 'test-unit'.
Итак, в моем Gemfile наверху перед самоцветом рельсов я положил:
gem 'test-unit', '~> 2.3.0'
Затем я запустил тест рейка: бенчмарк, и он заработал!