Важность количества шагов в эпоху для обучения модели LSTM в Керасе

Question

В чем разница между двумя моделями LSTM A и B, которые обучаются на одних и тех же данных, но партии перемешиваются случайным образом для каждой эпохи, что A имеет 14 шагов в каждую эпоху, а B имеет 132 шага в каждую эпоху? Какой из них будет работать лучше при проверке?

Answer 1

Эпоха состоит в том, чтобы пройти все ваши тренировочные образцы один раз. И один шаг / итерация относится к обучению в одной мини-партии. Поэтому, если у вас есть 1 000 000 обучающих выборок и вы используете размер пакета 100, одна эпоха будет эквивалентна 10 000 шагов с 100 выборками на шаг.

Платформа нейронной сети высокого уровня может позволить вам установить либо число, либо эпох или общее количество тренировочных шагов. Но вы не можете установить их оба, так как один напрямую определяет значение другого.

Влияние размера партии на поведение модели: небольшая партия обычно приводит к быстрому обучению, но нестабильному процессу обучения с более высокой дисперсией. Большие размеры партий замедляют процесс обучения, но последние этапы приводят к конвергенции к более стабильной модели, примером которой является более низкая дисперсия.