Вычислить количество эпох от итерации в обучении?

Question

У меня есть прототип Caffe следующим образом:

stepsize: 20000
iter_size: 4
batch_size: 10
gamma =0.1

, в котором у набора данных есть 40.000 изображений.Это означает, что после 20000 iters скорость обучения уменьшится в 10 раз.В pytorch я хочу вычислить количество эпох, чтобы иметь одинаковое поведение в caffe (для скорости обучения).Сколько эпох я должен использовать, чтобы уменьшить скорость обучения в 10 раз (обратите внимание, что у нас есть iter_size = 4 и batch_size = 10 ).Спасибо

Ссылка: Эпоха против итерации при обучении нейронных сетей

Мой ответ: Пример: если у вас есть 40000 примеров обучения и размер пакета равен10, то для завершения 1 эпохи потребуется 40000/10 = 4000 итераций.Следовательно, 20000 итераций для снижения скорости обучения в кафе будет таким же, как 5 эпох в pytorch.

Answer 1

Вы не учли iter_size: 4: когда пакет слишком велик, чтобы поместиться в память, его можно «разбить» на несколько итераций.
В вашем примере фактический размер пакета равен batch_size x iter_size = 10 * 4 = 40. Таким образом, эпоха занимает всего 1000 итераций, и поэтому вам необходимо уменьшить скорость обучения после 20 эпох.