Должен ли входной слой включать нейрон смещения? - PullRequest
8 голосов
/ 30 августа 2011

Мне было интересно: в многослойной нейронной сети с прямой связью входной слой должен включать нейрон смещения, или это просто полезно в скрытых слоях?Если так, то почему?

Спасибо,Tunnuz

1 Ответ

7 голосов
/ 31 августа 2011

Нет, входной слой не нуждается в соединении с нейроном смещения, поскольку любая активация, полученная от нейрона смещения, будет полностью перекрыта фактическим входом.

Например, представьте сеть, которая пытается решить классическую проблему XOR , используя эту архитектуру (где нейрон, только что отмеченный 1, является смещением):

enter image description here

Чтобы запустить эту сеть на входе (1,0), вы просто ограничиваете активацию нейронов X1 = 1 и X2 = 0. Теперь, если бы X1 или X2 также получили вход от смещения, тогда этот вход был бы переопределен в любом случае, таким образом, делая такое соединение бессмысленным.

...