Минимизирует ли Tensorflow API , скажем, для GradientDescentOptimizer, например, реализацию мини-пакета, когда мы передаем входной тензор размером мини-пакета данных?
Я читал этот болг , который указывал, что мини-пакет не реализован в методе minimize, мы должны сначала выполнить compute_gradients, а затем накапливать градиенты, наконец, выполнить apply_gradients для закончите обучение мини-пакету.
def train_standard(opt_type, learning_rate, image_set):
# Arrays for logging accuracy and loss
acc_log = np.zeros(len(image_set))
loss_log = np.zeros(len(image_set))
# Create optimizer
opt = opt_type(learning_rate)
#
# no-minibatch (standard, simple) operation
#
minimize = opt.minimize(loss)
# Create session to execute ops
sess = tf.InteractiveSession()
# Necessary initializations
tf.set_random_seed(1234)
tf.global_variables_initializer().run()
# Train loop
for i, batch in enumerate(image_set):
sess.run(minimize, feed_dict={x: batch[0], y_: batch[1]})
acc_log[i] = sess.run(accuracy,
feed_dict={x: mnist.test.images, y_: mnist.test.labels})
loss_log[i] = sess.run(loss,
feed_dict={x: mnist.test.images, y_: mnist.test.labels})
return acc_log, loss_log
Однако, когда я проводил эксперименты, я обнаружил, что два подхода дают схожие результаты. Интересно, будет ли метод minimize выполнять обновление мини-пакета, если мы feed_dict будем использовать матрицу размера мини-пакета вместо одной строки обучающих данных.
Может кто-нибудь помочь мне прояснить этот вопрос и исправить меня, если я ошибаюсь?
С наилучшими пожеланиями