Какой из следующих способов является правильным для вычисления дельты в обратном распространении? - PullRequest
0 голосов
/ 20 сентября 2019

Извините за мой плохой английский:)

Я выполнял задания по программированию на 5-ю неделю в курсе машинного обучения Coursera и в PDF-документе, который поможет вам пройти упражнения, в нем говорится, как правильно рассчитатьдельта для второго слоя следующая: delta_2 = Theta2.T * delta_3. * g '(z_2).Здесь Theta2.T является инверсией Theta2, * является точечным произведением,. * Является поэлементным произведением, z_2 является нейронами в слое 2 (до применения функции активации), Theta2 является весами между слоями 2 и 3, и g'является производной сигмоидальной функции.Но при просмотре слайдов он говорит, что delta_2 = Theta2.T * delta3.Это было в той части, где Эндрю Нг говорил об интуиции, стоящей за backprop, так что, может быть, он не использовал g '(z_2), потому что не хотел, чтобы она усложнялась?

Заранее спасибо!

(вот ссылка на слайды, если вы хотите увидеть это сами: https://d3c33hcgiwev3.cloudfront.net/_1afdf5a2e2e24350ec9bad90aefd19fe_Lecture9.pdf?Expires=1569110400&Signature=efzoVjBZZL6-yBlrblUd2wuiBa-~4FEAo3E7x78X9bv2v61ZndmgxtNi9kdofFMywVkWQjh3x7xXwxZ6ZGMHBgXEspKz0LhRCuE1ORdh4bPlOTa1tnREbwm1XfgkYLeNg-K2RygdUxYh2vjmSxV2sl-WP3FPlZ-JWy8IpZ8HsW4_&Key-Pair-Id=APKAJLTNE6QMUY6HBC5A стр. 13)

...