Да, вы переименовываете вне Visual Studio.
Используя TortoiseSVN в проводнике Windows, сделайте переименование через контекстное меню TortoiseSVN в рассматриваемой папке. Проект в Visual Studio обнаружит изменения на диске и попросит перезагрузить.
Вы также можете сделать исключение из проекта в Visual Studio, затем переименовать и затем снова включить новый путь.
Редактировать: Согласно @Sander Rijken ниже, AnkhSVN отслеживает переименование и следит за тем, чтобы переименование было правильно зарегистрировано в рабочей копии SVN.
Если у вас не установлен AnkhSVN в дополнение к TortoiseSVN, хотя это не будет работать, и вы должны сделать, как я сказал выше.