Когда вы выполняете инициализацию пейджера, вы должны установить:
pager.setRangeLimited(false);
Этот метод устанавливает, должен ли диапазон страниц быть ограничен фактическим размером данных.
Если true, все операции будут настроены так, чтобы на странице всегда были видимые данные.