Что ж, файл в том виде, в котором он был создан, будет принадлежать его создателю, если вы используете Visual Studio от имени администратора, вы просто застряли с ним таким образом с точки зрения владельца.
Лично, если вы не используете IIS для веб-приложений, я все чаще и чаще запускаю Visual Studio как обычный пользователь, по крайней мере с VS 2010.
Что касается проблемы, когда Visual Studio не может удалить файл, я видел это раньше с ошибками сборки, а иногда, если у вас есть несколько проектов, ссылающихся на одну и ту же сборку. Лучше всего попытаться отследить блокировку, а затем вы можете либо снять блокировку, либо перезапустить Visual Studio.
Обычно я использую Process Explorer (из SysInternals), чтобы просто удалить дескриптор файла. (ПРИМЕЧАНИЕ: это НЕ "отличная" идея, но она работает ....)