Я нашел обходной путь, но, очевидно, я не могу считать это решением:
Я думаю, что когда восстанавливается состояние экземпляра фрагмента, связь с действиями nav_graph, связанного с таким фрагментом, каким-то образом теряется или что-то в этом роде ... Но я могу ошибаться
Вместо указания на само действие, либо с помощью безопасных аргументов, либо его идентификатора, в таких случаях можно напрямую использовать идентификатор фрагмента, к которому вы хотите перейти.
В этом случае, если вы хотите передать аргументы, вы должны сделать это по старинке через пакет.
Bundle args = new Bundle();
args.putString(ID_ARG, arg);
Navigation.findNavController(getView()).navigate(R.id.fragmentId, args);