Нет, вы не можете изменить имя экземпляра или перейти из / в именованный экземпляр по умолчанию без переустановки SQL Server.
Если вы устанавливаете другой экземпляр SQL Server, по умолчанию может использоваться только один. Если экземпляр SQL Server по умолчанию уже существует, программа установки не позволит вам установить другое и заставит вас выбрать имя экземпляра - только один может быть именем по умолчанию, все остальные должны называться экземплярами. Сколько экземпляров на вашей машине?
Почему JDBC не может подключиться к именованному экземпляру? Вы смотрели документацию JDBC ? Или ознакомились с темами поддержки Microsoft, такими как http://support.microsoft.com/kb/313225, которые, несмотря на то, что они ориентированы на SQL Server 2000, все еще имеют значение?