Также состояние контрольной точки функций ввода в распределенном обучении оценщика - PullRequest
0 голосов
/ 16 июня 2020

У меня есть tf.estimator.RunConfig, используемый для создания tf.estimator.Estimator, который указывает некоторые свойства контрольных точек, например, период контрольных точек. Я бы хотел, чтобы состояние входных функций также было проверено (что, я считаю, не происходит), как это сделано здесь:

https://www.tensorflow.org/guide/data#iterator_checkpointing

Как можно Я настраиваю свой оценщик или соответствующий train_and_evaluate (например, TrainSpe c или обучающие крючки или что-то в этом роде), чтобы дополнительно проверять входные функции для каждого рабочего узла, а также для восстановления этого состояния набора данных в случае, если рабочий будет вынужден перезапустить?

...