просто с помощью протокола file: // отлично сработал для меня:
html_dir = File.dirname(__FILE__)
page = agent.get("file:///#{html_dir}/example-file.html")
и по поводу поднятого вопроса, почему кто-то будет использовать механизацию для чтения локальных html-файлов: я нашел это необходимым для целей тестирования - простосохраните файл примера локально и запустите ваш rspec для него.