Из API.
public abstract View getView (int position, View convertView,
ViewGroup parent)
convertView - старый вид для повторного использования, если это возможно. Примечание. Перед использованием убедитесь, что это представление не пустое и имеет соответствующий тип. Если невозможно преобразовать это представление для отображения правильных данных, этот метод может создать новое представление.
Таким образом, если getView уже был вызван для этого конкретного индекса, то convertView будет объектом View, который был возвращен после первого вызова.
Вы можете сделать что-то вроде.
if(!(convertView instanceof ImageView)){
convertView = new ImageView();
//get image from whereever
} else {} // ImageView already created