Вы можете сделать это без каких-либо проблем, если вы делаете это в Visual Studio. Если вы не используете TFS SourceControl, это также можно сделать напрямую из файловой системы.
Вещи разные для проектов. Вы все еще можете сделать это из Visual Studio, но если вы просто переименуете файл csproj, имя проекта не изменится, и все ссылки в решениях, содержащих проект, будут нарушены. Кроме того, имя dll или exe не изменяется, и то же самое относится к пространству имен по умолчанию, и это то, что вам может не понравиться.