Определения нейронной сети

Question

Я пишу класс нейронной сети и столкнулся с двумя понятиями, которые я не понимаю. Кто-нибудь сможет сказать мне, что такое bias и momentum и что делает

Answer 1

Смещение является постоянным входом, данным для нейронов. например в обычной сети с прямой связью у вас может быть 2 блока ввода, 2 скрытых блока и 1 блок вывода. постоянное значение смещения (скажем, 1) войдет в скрытые и выходные блоки в дополнение к входным данным от входных блоков.

Momentum - дополнительная скорость обучения, используемая в начале обучения для ускорения обучения. например Ошибка обучения обычно изначально очень велика, поэтому вы начинаете с большого импульса и более агрессивно настраиваете веса. позже во время обучения, когда ваша ошибка уменьшается, импульс также должен уменьшаться, чтобы вы учились медленнее, но у вас будет меньше шансов выйти за пределы цели.

Answer 2

Смещение позволяет нейрону принимать более широкий диапазон входных значений. Импульс можно рассматривать как размер шага во время приличного градиента.

В типичном узле смещение и все входные данные от предыдущего слоя взвешиваются, суммируются, а затем сводятся к выходному значению. Функция сдавливания сосредоточена вокруг нуля и резко снижается чувствительность, поскольку взвешенная сумма становится очень положительной или очень отрицательной. Однако иногда вы хотите, чтобы чувствительная часть сдавливания находилась в некоторой области ввода, а не в районе нуля. Вход смещения позволяет алгоритму обучения сдвигать ответ узла для достижения этого.

В дополнение к тому, что описал Чарльз Ма, импульс может также помочь провести алгоритм обучения через локальный минимум, чтобы найти лучшее решение.

Answer 3

Интуитивный способ думать о смещении подобен термину b в линейном уравнении. Который определяется как:

y = mx + b

Термин m является наклоном, а b указывает, где линия пересекается с осью y. Если вы увеличите или уменьшите этот член, линия будет двигаться вверх и вниз по оси Y. Нейронная сеть создает гиперплоскость для разделения кластеров, поэтому смещение будет перемещать ее вверх и вниз во время обучения, пока оно не сойдет к минимуму и, как мы надеемся, найдет подходящее соответствие для ваших тренировочных образцов.

Момент, как упоминалось ранее, уменьшит колебания во время градиентного спуска. Это увеличит размер шага в начале тренировки и уменьшит его к концу. Вы можете думать об этом, как о больших шагах в направлении отрицательного градиента, к минимумам, и о меньших шагах по мере приближения к нему. Это имеет несколько преимуществ:

1. Увеличивает скорость тренировки.
2. У вас ниже риск превышения минимума, чтобы он никогда не сходился, особенно при высоких скоростях обучения.
3. Возможное превышение локальных минимумов.