Нейрональные сети становятся медленными в адаптации после большого количества тренировок?

Question

Я новичок в области нейронных сетей, и я хочу понять определенное утверждение.Один мой друг сказал, что нейронная сеть замедляется после того, как вы поместите много данных.

Прямо сейчас, я только что прошел курс ML по курсу от androw ng.Там я реализовал обратное распространение.Я думал, что он просто адаптирует модель, связанную с ожидаемым результатом, используя различные типы вычислений.Тем не менее, это не было похоже на то, что история использовалась для адаптации модели.Только текущее состояние нейронов было проверено, и их вес был адаптирован назад в сочетании с регуляризацией.

Правильно ли мое предположение или я ошибаюсь?Существуют ли библиотеки, использующие данные истории, которые могут привести к медленной адаптации модели после определенного количества тренировок?

Я хочу использовать простую нейронную сеть для обучения с подкреплением, и я хочу получить представление о том, нужно ли мне переустанавливать свою модель, если целевая среда по какой-то причине изменяется.В противном случае моя модель будет медленнее и медленнее адаптироваться со временем.

Спасибо за любые ссылки и объяснения в продвинутом!

Answer 1

Как вы сказали, нейронные сети адаптируются, изменяя свои веса на этапе обратного распространения. Изменение этих весов не будет медленнее, поскольку обучение продолжается, так как количество шагов для изменения этих весов всегда будет оставаться неизменным. Количество шагов, необходимых для запуска примера в вашей модели, также останется прежним, поэтому не будет замедлять работу вашей сети в соответствии с количеством примеров, которые вы подали во время обучения.

Тем не менее, вы можете изменить скорость обучения во время обучения (как правило, снижая его по мере продолжения эпох). В зависимости от того, как изменяется скорость обучения вашей модели, веса будут изменяться по-разному, что обычно приводит к меньшей разнице в каждую эпоху.