Вы переопределяете триггер, если определяете свойство непосредственно внутри границы.
Удалить BorderBrush="DarkGray"
из этой строки
<Border BorderThickness="5" BorderBrush="DarkGray" Style="{StaticResource borderStyle}">
так это выглядит
<Border BorderThickness="5" Style="{StaticResource borderStyle}">
и добавьте сеттер в свой стиль
<Style x:Key="borderStyle" TargetType="Border">
<Setter Property="BorderBrush" Value="DarkGray" />
<Style.Triggers>
<Trigger Property="IsMouseOver" Value="True">
<Setter Property="BorderBrush" Value="Red" />
</Trigger>
</Style.Triggers>
</Style>
Как правило большого пальца: все свойства, которые должны быть изменены триггерами, должны быть определены как сеттеры в стиле.