Лучший способ повысить производительность изменения размера - использовать VirtualizingStackPanel в ScrollContentPresenter. Вы можете переопределить это в шаблоне данных, например, вашего ListBox или, вообще, своей ItemsPanel.
Он НЕ отображает элементы, которые не видны, по сравнению с обычной StackPanel, которая отображает все элементы постоянно, независимо от того, видны они пользователю или нет.
Работает у меня вполне нормально.