Я сталкивался с тем же, что-то вроде MS Server 2003 и SQLServer 2008 Ent, запущенных на VMWare, и получал «Сервер не существует или доступ запрещен» при попытке подключения с хост-машины (на Vista x64).
Итак, вы считаете, что переход на «Локальные и удаленные подключения» с помощью инструмента настройки контактной зоны SQL Server поможет?