Непрозрачность - это свойство самого Groupbox, а не его фона.
Попробуйте
<Style TargetType="GroupBox">
<Setter Property="Background" Value="White"/>
<Setter Property="Opacity" Value="0.5"/>
</Style>
Или вы можете стилизовать GroupBox в том месте, где вы его используете, как в @ Jay'sответ.
Если вы действительно хотите изменить только непрозрачность фона, используйте следующее:
<Style TargetType="GroupBox">
<Setter Property="Background" Value="#80ffffff"/>
</Style>