Первое предположение, вы используете сложные шаблоны данных для каждого ListViewItem? Это может быть что угодно, от множества изображений до (старых) BitmapEffects, до даже лениво загруженных свойств, которые извлекают данные из базы данных по запросу (что может привести к тому, что вы будете выполнять много вызовов БД для визуализации каждого визуала в зависимости от того, как ваша модель данных работы).
Второе предположение, может ли сам список быстро выполнять свои процедуры загрузки / добавления / изменения / удаления (что означает, что проблема возникает при рендеринге данных), или сам список выполняет эти задания медленно (указывая, что в списке есть некоторые вид вопроса).