Обратное распространение в этих средних слоях не имеет абсолютно никакого значения. Основная идея релевантности средних уровней заключается в том, что ResNet продолжает повышать частоту ошибок при добавлении новых слоев (с 5,71 ошибки top5 с 34 слоями до 4.49 ошибки top5 с 152). Изображения имеют много особенностей и сложностей, и сотрудники Microsoft обнаружили, что, когда вы решите проблему исчезающего градиента (с прохождением), вы можете получить больше знаний по всей сети с большим количеством слоев.
Идея добавления остаточного блока состоит в том, чтобы предотвратить проблему исчезающего градиента, когда вы получаете слишком много слоев ... Но средние слои также обновляются на каждом этапе обучения, и они также учатся (обычно особенности уровня).
Сверточные нейронные сети с большим количеством слоев имеют тенденцию к переоснащению, если задача не слишком сложна, поскольку ее 152 слоя способны изучать множество различных шаблонов.