Если я вас хорошо понял, вы хотели бы иметь возможность прокручивать, используя вертикальную полосу прокрутки, но не используя колесо мыши.
В этом случае просто перехватите событие колеса мыши в содержимом ScrollViewer и пометьте его как обработанное:
<ScrollViewer>
<StackPanel MouseWheel="MyContent_MouseWheel">
...
</StackPanel>
</ScrollViewer>
и в коде позади:
private void MyContent_MouseWheel(object sender, MouseWheelEventArgs e)
{
e.Handled = true;
}