Почему мы используем слой идентичности в ResNet? - PullRequest
0 голосов
/ 29 сентября 2019

Насколько я понимаю, у Resnet есть некоторый идентификационный слой, что их задача состоит в том, чтобы создать выходные данные так же, как и входные данные слоя.но какая польза от этой работы?Какая польза от добавления таких слоев?Любая помощь будет оценена

1 Ответ

2 голосов
/ 29 сентября 2019

Единственная цель создания архитектуры ResNet состояла в том, чтобы решить проблему снижения / насыщения точности в более глубокой сети, которая была вызвана исчезающими градиентами в качестве основной причины.Слой идентификации или пропускаемые соединения помогают предотвратить эту проблему, поскольку для слоя очень легко выучить линейную функцию, где входной сигнал равен выходному, то есть f (x) = x.Теперь ResNet работает намного лучше, чем другие архитектуры, и одна из причин, указанная Эндрю Нгом в его курсе, заключается в том, что пропускаемые соединения очень легко изучают функцию f (x) = x, а если вам повезет, они иногда изучают эту функцию плюс другие функции, которыевыгодно для сети в извлечении окончательных функций.

...