ScrollViewer может работать ТОЛЬКО, когда он меньше, чем тот, который он содержит (ширина или высота).Если вы не укажете ширину или высоту ScrollViewer, он будет растянут, чтобы соответствовать его содержимому, и в результате эффект не будет идеальным.
Так что вам нужно сделать, чтобы установить фиксированныйразмер для вашего ScrollViewer.
Кстати, как сказал indyfromoz, ListBox уже имеет ScrollViewer, так что вы можете удалить свой внешний ScrollViewer и просто установить размер ListBox.