Как работает обратное распространение для нескольких скрытых сетей?

Question

Я реализовал необходимые уравнения для обратного распространения для выходного слоя, но для скрытых слоев я действительно путаюсь с правилом цепочки. Когда количество скрытых слоев есть. более того, это становится все более запутанным.

Как упростить уравнения скрытых слоев?

PS. Я знаю исчисление

Answer 1

Crypt John, Welcome:)

Поскольку вы сказали, что свободно владеете исчислением и уже завершили обратное распространение выходного слоя, вам будет легко, как только вы узнаете о запоминании.

Каждый скрытый слой имеет ошибку предыдущего слоя. Примените правило цепи для одного веса скрытого слоя. Позвольте мне опубликовать уравнение для вас.

https://1.bp.blogspot.com/-AqNDf3KFUq8/XahC0NdsGkI/AAAAAAAAEvU/cglTGiej4-0Q-0ZYw3NKAgvanAxU6KlMgCLcBGAsYHQ/s1600/Percep.PNG

На изображении выше вы можете видеть, что дифференциация выполняется следующим образом: 1. Ошибка / Sigmoid_Output 2. Sigmoid_Output / Dot_Product 3. Dot_Product / Sigmoid_Hidden 4. Sigmoid_Hidden / Dot_Product_Hidden 5. Dot_Product_Hidden / Your Weight !!!

Первые два шага взяты из правила цепочки выходного слоя. Таким образом, вам не нужно вычислять 1-й и 2-й результаты снова и снова.

Аналогично для другого скрытого слоя 1-я и 2-я производные предыдущего слоя будут одинаковыми. Это называется напоминанием.

Проверьте эту веб-страницу: Посетите https://www.hellocodings.com/2019/10/step-by-step-back-propagation.html

С уважением