Если вы хотите, чтобы цвет фона заполнял закругленные углы, вам нужно установить свойство фона на самой границе, а не на сетке внутри нее. Теперь, если вы хотите, чтобы сетка полностью находилась внутри границы, установите поле в сетке, которое компенсирует радиус закругленного угла:
<Border CornerRadius="10"
BorderBrush="Black"
BorderThickness="5"
Background="Green">
<Grid Background="Red"
Margin="2.5">
</Grid>
</Border>