Используйте FrameLayout в качестве FragmentHolder и динамически добавьте фрагмент с использованием FragmentTransaction в вашей Activity к этому фрагменту.
Удаление фрагмента внутри выглядит так, как будто возникают проблемы, как в вашем файле build.gradle.
Пожалуйста, убедитесь, что вы добавили его в соответствии с вашими требованиями, такими как добавление его в backstack и все.