входные данные для всех узлов скрытых слоев одинаковы, тогда как они различаются в своих выходных данных?

Question

Я новичок в глубоком изучении и пытаюсь понять концепцию скрытых слоев, но мне не ясны следующие вещи:

Если есть 3 скрытых слоя. Когда мы берем выходные данные от всех узлов 2-го уровня в качестве входных данных для всех узлов 3-го уровня, то какая разница в выходе узлов 3-го уровня, когда они получают одинаковый ввод + одинаковые параметры инициализации (согласно тому, что я прочитал, я Предположим, что все узлы одного слоя получают одинаковый случайный вес для параметров).

Пожалуйста, поправьте меня, если я думаю не в том направлении.

Answer 1

Простой ответ из-за случайной инициализации.

Если вы начали с одинаковыми весами через нейронную сеть (NN), то все узлы будут выдавать одинаковый вывод.

Это потому что при использовании алгоритма backprop ошибка распределяется в зависимости от силы активации каждого узла. Если они начинаются одинаково, то ошибка будет распространяться одинаково, и, следовательно, узлы в NN не смогут изучать различные функции.

Таким образом, базовая c случайная инициализация гарантирует, что каждый узел специализируется. Следовательно, после обучения узлы в скрытых слоях будут выдавать разные выходные данные, даже если они одинаковые.

Надеюсь, это поможет.