Я бы не рекомендовал устанавливать гемы в местах, отличных от тех, где RVM или гем хочет установить файлы, но вы можете переопределить место установки следующим образом:
sudo gem install heroku --install-dir /path/to/install/into
Где / путь / к / установить /туда, где вы хотите установить драгоценный камень.