Это происходит потому, что метод, который TabLayoutMediator использует для перемещения к выбранному фрагменту, заставляет RecyclerView кэшировать следующий фрагмент, так как он использует плавную прокрутку.
Это не должно быть проблемой, если вы что-то не делаете в неправильная часть жизненного цикла фрагмента. Если вы хотите что-то сделать только при отображении фрагмента, то делайте это только в методе Fragments onResume
, так как описанное вами поведение приведет только к кешированному фрагменту в состояние «Started».