Не уверен насчет этого.Но когда я использую ViewPager, если я заменю ViewPager другим фрагментом, ViewPager будет заменен, но фрагмент в ViewPager не будет удален.Поэтому, когда я заменяю ViewPager, я делаю это.
for( Fragment f : getSupportFragmentManager().getFragments()){
if( f.getClass().getSimpleName().equals("Your nested fragment name"))
transaction.remove(f);
}