Как отметил @Luksprog в комментариях, решение может быть следующим:
При создании тега для DialogFragment при создании:
FragmentManager fragmentManager = getSupportFragmentManager();
MyDialogFragment.newInstance(...).show(fragmentManager, "myTag");
Найдите его и отклоните в onCreate
MyDialogFragment dialog = ((MyDialogFragment)getSupportFragmentManager().findFragmentByTag("myTag"));
if (dialog != null) {
dialog.dismiss();
}
Я думаю, что было бы эффективнее вообще отключить воссоздание DialogFragment, но я не знаю, возможно ли это.