Могут ли юниты в нейронном скрытом слое захватить одну и ту же функцию?

Question

В нейронной сети есть 3 основные части, определенные как входной слой, скрытый слой и выходной слой. Мы предоставляем одинаковые данные для скрытого слоя, поэтому мы можем получить те же единицы в скрытом слое. Например, мы даем изображения собак в качестве входных данных, а наши скрытые слои захватывают части тела собаки. Я хочу знать, есть ли у них шанс, что 2 единицы скрытого слоя захватывают одну и ту же часть тела, как глаз.

Я знаю, что входные данные одинаковы, но мы инициализируем веса по-разному. Следовательно, шансы на это малы. Но мне любопытно, есть ли у них какая-либо возможность этого сделать, могут ли единицы скрытых слоев зависеть друг от друга?

Answer 1

Теоретически, возможно, что две или более единиц подхватят одну и ту же функцию ввода; однако это не должно происходить на практике, если сеть хорошо спроектирована. Случайная инициализация - это, например, способ облегчить эту проблему.

Если рассматривать ее как влияние на функцию потерь, если один нейрон изучит конкретную функцию c, оптимизатор ничего не вернет для обновления весов. другого нейрона, который использует ту же функцию, потому что он не минимизирует общую функцию потерь. Это может быть оправдано тем фактом, что оптимизатор не изучит функцию дважды, и если это произойдет (что обычно не происходит в хорошо спроектированной сети), то изучение этого в другой раз не минимизирует функция стоимости.

При всех вышеизложенных объяснениях нет гарантии, что упомянутый вами случай не произойдет.