Если вы используете несколько фрагментов внутри одного действия, используйте предоставляемые вами ViewModels, используя контекст действия вместо контекста фрагмента.
В ваших фрагментах должно быть так:
vm = ViewModelProviders.of(activity!!, vmFactory)[vmclass.java]