добавление импульса к алгоритму обратного распространения

Question

Чтобы ускорить процесс обучения, к правилу обновления веса добавляется член импульса.

      W_deltaJI(n) = LR * error(J) * InputIJ + momentum*W_deltaJI(n-1) 

Здесь

Нужно ли W_deltaJI (n) накапливаться для каждого обучающего пакета?

Answer 1

Полагаю, вы имеете в виду каждый тренировочный цикл на наборе паттернов.

Если вы пытаетесь сделать что-то необычное, например, пакетное обратное распространение с импульсом, тогда ответ будет положительным. Вы бы накапливали весовые матрицы и применяли бы импульс в конце каждого цикла. Это может быть эффективно для больших и сложных наборов данных.

Нормальный срок обучения обновляет W_deltaJI (n) на лету, за цикл. Таким образом, для целей обучения нейронной сети вам не нужно накапливать.