От Liang et al. " Быстрый и точный алгоритм последовательного обучения онлайн для сетей с прямой связью " :
Пакетное обучение обычно занимает много времени, так как может потребовать много итераций по обучающим данным. В большинстве приложений это может занять от нескольких минут до нескольких часов, и далее параметры обучения (то есть скорость обучения, количество эпох обучения, критерии остановки и другие предварительно определенные параметры) должны быть правильно выбраны для обеспечения конвергенции. Кроме того, всякий раз, когда принимаются новые данные, пакетное обучение использует прошлые данные вместе с новыми данными и выполняет переподготовку, что отнимает много времени. Существует много промышленных приложений, где онлайновые последовательные алгоритмы обучения предпочтительнее, чем пакетные алгоритмы обучения как последовательные алгоритмы обучения не требуют переподготовки при получении новых данных. Алгоритм обратного распространения (BP) и его варианты стали основой для обучения SLFN с аддитивными скрытыми узлами. Следует отметить, что BP в основном представляет собой пакетный алгоритм обучения . Стохастический градиентный спуск BP (SGBP) является одним из основных вариантов BP для последовательных обучающих приложений.
По сути, градиентный спуск теоретизируется в пакетном режиме, но на практике вы используете итерационные методы.
Я думаю, что вопрос не просит вас показать два способа (партия и последовательно) для оценки параметров модели, а вместо этого объяснять & mdash; либо в пакете или последовательный режим - как будет работать такая оценка.
Например, если вы пытаетесь оценить параметры для модели линейной регрессии, вы можете просто описать максимизацию правдоподобия, которая эквивалентна минимизации ошибки наименьших квадратов:
Если вы хотите показать последовательный режим, вы можете описать алгоритм градиентного спуска.