Возможно, вам повезет, установив VirtualizationMode в Recycled.В исходном коде VirtualizingStackPanel.cs есть комментарии, которые указывают, что режим Recycled немедленно очищает средства визуализации (вместо того, чтобы делать это в фоновом режиме):
//
// Delayed Cleanup is used when the VirtualizationMode is standard (not recycling) and the panel is scrolling and item-based
// It chooses to defer virtualizing items until there are enough available. It then cleans them using a background priority dispatcher
// work item
//
Примечание. Вы можете найти полный исходный код VirtualizingStackPanel здесь:
http://referencesource.microsoft.com/netframework.aspx