Полагаю, вы используете конвертированный вид, как этот
...public View getView(int position, View convertView, ViewGroup parent) { ....
и вы меняете его фон на 4-й позиции, и ваше представление позволяет сказать, что на одной странице 6 строк, поэтому каждая 4-я строка на каждой странице будет выделена серым цветом из-за повторного использования одного и того же convertView.
Я не знаю, правильно ли я объясняю, но если вы используете convertview и изменяете его макет, у вас должна быть логика для повторного создания этого макета, чтобы избежать повторного использования того же (кэшированного) представления.