Я не верю, что вы увидите здесь значительное повышение производительности, если вы не будете делать какие-то тяжелые вещи в других фрагментах.Но вы всегда можете отрегулировать допустимый вне экрана после того, как закончите загрузку того, что загружает ваш первый фрагмент.
mViewPager.setOffscreenPageLimit(0)
Затем, после того, как вы закончите загрузку, настройте количество, которое вы хотите оставить в памяти для лучшей прокрутки пользователем..
mViewPager.setOffscreenPageLimit(2)
Это должно выполнить запрашиваемое вами поведение.