Как получить воспроизводимые результаты, используя tenorflow-gpu в модели CNN?

Question

Я использую графический процессор Tensorflow в модели CNN, и я хотел бы воспроизводить свои результаты при каждом выполнении.

Я попытался установить начальное число на графике, случайное начальное число и даже начальное число на уровне операции.Однако, это все еще не воспроизводимо.

Я также попробовал Tensorflow с процессором;Я получил воспроизводимый результат, но он такой медленный.

Любая идея или предложение по отладке эксперимента для получения воспроизводимого результата с использованием Tensorflow с графическим процессором?

Answer 1

Вы пытались сохранять веса вашей модели на каждой итерации? Использование обратных вызовов keras для примера:

filepath = 'weights/' + model.name + '.{epoch:02d}-{acc:.2f}.hdf5'
checkpoint = ModelCheckpoint(filepath, monitor='acc', verbose=0, save_weights_only=True, save_best_only=True, mode='auto', period=1)

Затем вы можете загрузить веса вашей модели на нужной итерации

Надеюсь, я хорошо понял вашу проблему!