Обновление веса одного случайного слоя в многослойной нейронной сети с использованием backpagation?

Question

При обучении многослойных нейронных сетей, использующих обратное распространение, веса всех слоев обновляются в каждой итерации.

Я думаю, если мы случайным образом выберем какой-либо слой и обновим веса этого слоя только в каждой итерацииобратного распространения.

Как это повлияет на время тренировки?Не страдает ли производительность модели (возможности обобщения модели) от этого типа обучения?

Моя интуиция заключается в том, что возможности обобщения будут такими же, а время обучения будет сокращено.Пожалуйста, исправьте, если я ошибаюсь.

Answer 1

Ваша интуиция не так.То, что вы предлагаете, - это скоординированный спуск по блокам, и хотя имеет смысл делать что-то подобное, если градиенты не коррелированы, в этом контексте не имеет смысла делать это.

Проблема в NN для этого состоит в том, что вы получаете градиент предшествующих слоев бесплатно, в то время как вы вычисляете градиент для любого отдельного слоя из-за правила цепочки.Поэтому вы просто отбрасываете эту информацию без уважительной причины.