Как сохранить и загрузить состояние генератора случайных чисел в Pytorch?

Question

Я тренирую модель DL в Pytorch и хочу тренировать мою модель детерминистическим способом.Как написано в этом официальном руководстве, я установил случайные начальные числа следующим образом:

np.random.seed(0)
torch.manual_seed(0)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

Теперь у меня много тренировок, и я хочу сохранить, а потом загрузить все, включая ГСЧ.Я использую torch.save и torch.load_state_dict для модели и оптимизатора.

Как можно сохранять и загружать генераторы случайных чисел?

Answer 1

Вы можете использовать torch.get_rng_state и torch.set_rng_state

При вызове torch.get_rng_state вы получите состояние генератора случайных чисел как факел.

Затем вы можете сохранить этот тензор где-нибудь в файле, а затем вы можете загрузить и использовать torch.set_rng_state для установки состояния генератора случайных чисел.

---

При использовании numpy вы, конечно, можете сделать то же самое, используя:
numpy.random.get_state и numpy.random.set_state