Прежде всего, вы используете ListBox для вложения вашей сетки в
<ListBox ScrollViewer.HorizontalScrollBarVisibility="Auto" Width="640" Margin="0,0,0,0">
<Grid x:Name="ID" ShowGridLines="False">
Это задача для ScrollViewer, а не для ListBox, которая также может объяснить ваши проблемы с производительностью.
Во-вторых, невозможно увидеть, вызвано ли это тем, что вы пытаетесь прикоснуться к участкам области, которые нельзя выбрать, или это совершенно другая проблема.
Мое предложение по отладке состоит в том, чтобы в первую очередь убедиться, что у всех элементов управления есть фон, даже если он прозрачный. Чтобы было легче заметить, попробуйте изменить фон на контрастный цвет, например оранжевый, и посмотрите, есть ли поля между элементами.
Если между ними есть области, и ваше поведение при прокрутке не работает, это может стать причиной проблем.