Я разработал, как это сделать:
Capybara::save_path = "./screenshots"
Capybara::Screenshot.register_filename_prefix_formatter(:cucumber) do |example|
"/#{example.feature.name.gsub(' ', '-').gsub(/^.*\/spec\//,'')}/screenshot_#{example.name.gsub(' ', '-').gsub(/^.*\/spec\//,'')}"
end
Это приводит к красиво отформатированным скриншотам, где они хранятся как screenshots/<feature>/<scenario>_2018-01-01