Saver.save становится все медленнее и медленнее в каждом фолде

Question

Я использую тензор потока, и у меня есть разработчик глубоко многослойной модели прямой связи.Чтобы быть уверенным в производительности модели, я решил использовать ее в 10-кратной перекрестной проверке.В каждом сгибе я создаю новый экземпляр нейронной сети, вызываю поезд и функции прогнозирования.

В каждом сгибе я вызываю следующие коды:

for each fold:
         nn= ffNN(hidden_nodes, epochs, learning_rate, saveFrequency, save_path, decay, decay_step, decay_factor, stop_loss, keep_probability, regularization_factor,minimum_cost,activation_function,batch_size,shuffle,stopping_iteration)
         nn.initialize(x_size)
         nn.train(X,y)
         nn.predict(X_test)

в ffNN файле. У меня есть функции инициализации, обучения и прогнозирования, как указано ниже:

nn.train:

sess = tf.InteractiveSession()
init = tf.global_variables_initializer()
sess.run(init)
saver = tf.train.Saver()
for each epoch:
       for each batch:
          _ , loss = session.run([self.optimizer,self.loss],feed_dict={self.X:X1, self.y:y})
       if epoch % save_frequency == 0:
            saver.save(session,save_path)
sess.close()

Проблема в saver.save, в каждом фолде требуется все больше и больше времени для сохранения.Хотя я создаю все переменные с нуля, я не знаю, что делает его зависимым от сгибов, и поэтому экономия занимает все больше времени.

Заранее спасибо.

Редактировать:

Код для построения модели nn.initialize следующий:

 self.X = tf.placeholder("float", shape=[None, x_size], name='XValue')
 self.y = tf.placeholder("float", shape=[None, y_size], name='yValue')
 with tf.variable_scope("initialization", reuse=tf.AUTO_REUSE):
    w_in, b_in = init_weights((x_size, self.hidden_nodes))
    h_out = self.forwardprop(self.X, w_in, b_in, self.keep_prob,self.activation_function)
    l2_norm = tf.add(tf.nn.l2_loss(w_in), tf.nn.l2_loss(b_in))
    w_out, b_out = init_weights((self.hidden_nodes, y_size))
    l2_norm = tf.add(tf.nn.l2_loss(w_out), l2_norm)
    l2_norm = tf.add(tf.nn.l2_loss(b_out), l2_norm)
    self.yhat = tf.add(tf.matmul(h_out, w_out), b_out)
    self.mse = tf.losses.mean_squared_error(labels=self.y, predictions=self.yhat)
    self.loss = tf.add(self.mse,self.regularization_factor * l2_norm)
    self.optimizer = tf.train.AdamOptimizer(learning_rate=self.learning_rate).minimize(self.loss)

Answer 1

Исходя из того, что вы описали в вопросе, проблема не в saver.save, а в вычислительном графе, который становится все больше и больше.Таким образом, экономия занимает больше времени.Обязательно структурируйте код следующим образом:

for each fold:
    # Clear the previous computational graph
    tf.reset_default_graph()
    # Then build the graph
    nn = ffNN()
    # Create the saver
    saver = tf.train.Saver()
    # Create a session
    with tf.Session() as sess:
        # Initialize the variables in the graph
        sess.run(tf.global_variables_initializer())
        # Train the model
        for each epoch:
            for each batch:
                nn.train_on_batch()
            if epoch % save_frequency == 0:
                saver.save(sess,save_path)