Используете ли вы пользовательские Adapter
?Может быть, это какая-то проблема с неправильным повторным использованием convertView, вы можете опубликовать код?
Или, может быть, это просто изменение цвета фона?В этом случае просто:
android:cacheColorHint="#00000000"
в XML ListView
сделает всю работу.