Я нашел, почему это произошло.На самом деле проблема была в том, чтобы сначала установить адаптер, а затем добавить элементы в адаптер.Когда адаптер уже установлен, и мы пытаемся добавить какой-либо элемент в адаптер и вызвать notifyDataSetChanged (), он прокручивается до конца [хотя причина не известна].Решение - снова установить адаптер вместо добавления элементов в адаптер.Я знаю, что это не очень хороший подход, но он работает.
private void loadMoreTabs(){
onResponse(){
tabs.addAll(new ArrayList<Object>(response.body()));
viewPager.setAdapter(pagerAdapter);
setCustomViews();
}