Это не граница, это стандартный прямоугольник фокуса.
Если вы действительно хотите удалить его, вы можете создать пользовательскую кнопку, например:
Public Class NoFocusButton
Inherits Button
Public Sub New()
SetStyle(ControlStyles.Selectable, False)
End Sub
End Class