Попробуйте создать собственную панель:
Public Class PanelEx
Inherits Panel
Protected Overrides Function ScrollToControl(activeControl As Control) As Point
Return Me.DisplayRectangle.Location
End Function
End Class
Это не позволит вашему пользовательскому контролю (который, вероятно, содержит текстовое поле или что-то фокусируемое) перемещать полосу прокрутки.