SQL Server 2008 R2 требует .NET 3.5 SP1. Если он еще не установлен, установите его.
После этого я перейду к установке SQL Server 2008. Если вам не хватает предварительных требований, вы должны установить их.
После того, как вы все исправите, я бы установил .NET 4.0 последним (если его еще нет на сервере). Честно говоря, это не должно иметь значения, если вы устанавливаете SQL Server 2008 R2 или .NET 4.0. Оба заказа должны работать одинаково.