В моем случае я полагаю, что в системе остался старый Ruby, не зарегистрированный на rvm, и даже если бы переменные пути и список гемов были в порядке, он все равно использовал бы старый Ruby во время развертываний с Capistrano
И тогда я понял, что Ruby, который я установил с rvm, не был установлен по умолчанию. Запуск
rvm alias create default <rvm_registered_ruby>
Исправлено.