На самом деле, да, вы можете, но это не красиво, и вам все еще нужен .Net 1.1 на машине. Чего вы не можете сделать, так это использовать Visual Studio для компиляции или сборки сайта или открытия файла решения. Вам придется собрать все это из командной строки. Вы получите либо пятнистую, либо неправильную поддержку intellisense.
Но вы можете использовать его как любой другой текстовый редактор для создания необходимых вам исходных файлов.