Всегда ли единица смещения в нейронных сетях одна?

Question

Я изучал нейронные сети в течение нескольких недель и заметил, что во всех руководствах и документации никогда не упоминается единица смещения и / или всегда предполагается, что она равна 1. Существуют ли какие-либо причины или случаи, когда мы хотим, чтобы единица смещения небыть 1?Или это настраиваемый параметр в сети?

Редактировать: Извините, я новичок в переполнении стека и нашел похожие вопросы, поэтому я подумал, что это хорошее место, чтобы спросить, спасибо за исправлениеменя.

Редактировать: Когда люди ссылаются на предвзятость, они в большинстве случаев ссылаются на bias_weight:

Bias & BiasUnit

Единица смещения также являетсяпричина, по которой мы получаем уравнение для смещения Δb при обратном распространении в виде: Δb = ΔY * 1 (* 1 обычно просто не учитывается, поскольку это не влияет на уравнение)

Надежда, которая проясняет, продумывает.

Answer 1

Этот вопрос лучше подходит для перекрестной проверки или, возможно, для науки о данных (вообще не о коде).

Я думаю, что у вас неправильное понимание, термин - это обучаемый параметр , который также изучается и обновляется во время обучения.

Мне кажется, я знаю, из-за чего ты запутался (поправь меня, если я ошибаюсь). Во многих местах термин смещения включен во входной вектор x как постоянный элемент 1.

Так что, если у нас есть следующий ввод:

Вывод для некоторой операции может быть записан как:

Где обучаемые параметры:

Но это также можно записать следующим образом:

Но , несмотря на то, что у нас есть константа 1 на входе, так как по-прежнему является одним из обучаемых параметров, смещение все еще может быть что угодно.