Как я могу возобновить тренировку с определенной контрольной точки :: Deep Learning - PullRequest
Новая
       12

Как я могу возобновить тренировку с определенной контрольной точки :: Deep Learning

0 голосов
/ 10 октября 2019

Я создал модель LSTM. В большинстве случаев во время тренировок тренировка прерывается по разным причинам. Я постоянно сохраняю модель для каждой эпохи. Но я не могу возобновить тренировку с последней сохраненной контрольной точки. Может ли кто-нибудь помочь;Часть кода, отвечающая за контрольные точки:

CODE 

for e in range(epochs):

        # Train network
        n_state = self.get_new_state()

        for inputs, targets in zip(self.batch_inputs, self.batch_targets):
            t = time.time()
            batch_loss, n_state, _ = self.optimize_model(inputs, targets, n_state)
            log.info("Epoch : %s Training loss : %2f, sec/batch : %2f" % (e, batch_loss, (time.time() - t)))

        # We save the model at the ned of each epoch
        log.info("Save model...")
        self.save_model()
...