Может ли кто-нибудь объяснить взаимосвязь между размером пакета и шагами за эпоху?

Question

У меня есть обучающий набор, содержащий 272 изображения.

1. размер пакета = 8, шагов за эпоху = 1> обучите модель всего за 8 изображения и переходы к следующей эпохе?
2. размер пакета = 8, шагов за эпоху = 34 (без перемешивания)> обучить модель для всех 272 изображений и перейти к в следующую эпоху?
3. В конце каждого шагов на эпоху обновляет ли он веса модели?
4. Если да, то увеличивая количество шагов на эпоху дает ли это лучший результат?
5. Есть ли соглашение при выборе размера пакета и шагов на эпоху ?

Answer 1

Если я предоставлю определение, используя 272 изображения в качестве обучающего набора данных и 8 в качестве размера пакета,

• размер пакета - количество изображений, которые будут скармлены вместе для нейронная сеть.
• эпоха - итерация по всем изображениям набора данных
• шагов - обычно размер пакета и количество эпох определяет шагов . По умолчанию здесь шаги = 272/8 = 34 за эпоху. Итого, если вы хотите 10 эпох, вы получите 10 x 34 = 340 шагов.

Теперь, если ваш набор данных очень велик, или если есть много возможных способов увеличения ваших изображений, что снова может привести к набору данных бесконечной или динамической c длины, так как же вы? установить эпоху в этом случае? Вы просто используете шагов на эпоху , чтобы установить границу. Вы выбираете произвольное значение, например, 100, и предполагаете, что общая длина вашего набора данных равна 800. Теперь другое дело, как вы выполняете увеличение. Обычно вы можете каждый раз вращать, обрезать или масштабировать случайные значения.

В любом случае, перейдя к ответам на ваши вопросы -

1. Да
2. Да
3. Да, если вы используете Мини-пакетный градиентный спуск
4. Ну, да, если только он не подходит или ваши данные очень малы или ... есть много других вещей рассмотреть.
5. Я не знаю ни одного. Но для приблизительной оценки вы можете проверить механизм обучения высокоточных обучаемых моделей с открытым исходным кодом в вашей области.

(Примечание: я больше не работаю активно в этой области. Так что некоторые вещи возможно изменилось или я могу ошибаться.)