Почему БИАС необходим в ИНС?Должны ли мы иметь отдельные BIAS для каждого слоя?

Question

Я хочу сделать модель, которая прогнозирует будущую реакцию входного сигнала, архитектура моей сети [3, 5, 1]:

• 3 входа,
• 5 нейронов в скрытом слое и
• 1 нейрона в выходном слое.

Мои вопросы:

1. Должны ли мы иметь отдельный BIAS для каждого скрытого и выходного слоя?
2. Должны ли мы назначать вес для BIAS на каждом слое (поскольку BIAS становится дополнительной ценностью для нашей сети и вызывает чрезмерную нагрузку на сеть)?
3. Почему BIAS всегда установлен на единицу?Если у eta разные значения, почему мы не устанавливаем BIAS с другими значениями?
4. Почему мы всегда используем сигмаидную функцию log для нелинейных функций, можем ли мы использовать tanh?

Answer 1

Итак, я думаю, что многое прояснилось бы, если бы мы отступили назад и обсудили роль, которую единица смещения должна играть в NN.

Единица смещения предназначена для разрешения единицв вашей сети, чтобы узнать соответствующий порог (т. е. после достижения определенного общего ввода, начать отправку положительной активации), так как обычно положительный общий вход означает положительную активацию.

Например, если ваша единица смещения имеет вес-2 с некоторым нейроном x, тогда нейрон x обеспечит положительную активацию, если все другие входные данные в сумме превысят -2.

Итак, с этим в качестве фона, ваши ответы:

1. Нет, один вход смещения всегда достаточен, поскольку он может по-разному воздействовать на разные нейроны в зависимости от их веса в каждой единице.
2. Вообще говоря, иметь весовые коэффициенты смещения, поступающие на каждую не входную единицу, - хорошая идея, поскольку в противном случае эти единицы без весов смещения будут иметь пороговые значения, которые всегда будут равны нулю.быть последовательным во всех испытаниях.Помните смещение, представленное, как каждая единица взаимодействует с входом;это не сам ввод.
3. Вы, конечно, можете и многие это делаете.Любая функция sqaushing обычно работает как функция активации.