Глубокие остаточные сети в Реснетсе

Question

Матрицы весов остаточных блоков уже установлены в 0 или нам нужно, чтобы матрицы весов остаточного блока были близки к 0? В каких случаях мы выполняем обратное распространение через матрицы весов остаточного блока? И когда мы пропустим обратный путь через них, чтобы выбрать альтернативный маршрут?

Answer 1

Обратное предложение происходит по обоим путям, если у вас есть слой concat, который объединяет блок B, который находится прямо над ним, и слой A, который сцеплен как остаток, градиент к A будет получен как от уровня concat, так и от слоя после A. Такие пропускаемые соединения создаются для противодействия исчезающему градиенту в глубокой сети (градиент, который задним числом пропускается, становится меньше по мере прохождения через несколько слоев)