Recyclerview не прокручивает элемент вверх

Question

Recyclerview scrollToPositionWithOffset(position,0) работает правильно для начальных позиций, но после нескольких позиций recyclerview не прокручивает элемент наверх. Я также дал нижнее заполнение и сделал клип для заполнения ложным