Спасибо за ответы, вот обновление:
Похоже, что-то связано с MouseCapture, как предполагает Гай. Причина в том, что я также получаю проблему, используя кнопку или прямоугольник, который захватывает мышь в коде позади.
Если я поставлю сетку между большим пальцем и границей, проблема исчезнет, поэтому я думаю, что я пойду с этим.
Я также заметил проблему, связанную с некоторыми.
<Grid Width="200" Height="100" Background="Transparent"
MouseLeave="Border_MouseLeave">
<Button />
<Rectangle Width="40" Height="40" Fill="Violet"
HorizontalAlignment="Left" />
</Grid>
Если я нажму левую кнопку и переместу курсор влево над прямоугольником, а событие MouseLeave не будет зарегистрировано.
Это все очень странно.