Корректировки - это сложение и вычитание векторов, которые можно представить как вращение гиперплоскости так, что класс 0
падает на одну часть, а класс 1
падает на другую часть.
Рассмотрим 1xd
весовой вектор с указанием веса модели персептрона.Кроме того, рассмотрим 1xd
точку данных .Тогда прогнозируемое значение модели персептрона, учитывая линейный порог без потери общности, будет
- уравнение.1
Здесь '.'является точечным произведением, или
Выше приведено уравнение гиперплоскости
(игнорируя индексы итераций для весовых обновлений для простоты)
Давайте рассмотрим, что у нас есть два класса 0
и 1
, опять же без потери общности, точки данных, помеченные 0
, попадают наодна сторона, где уравнение <= 0 гиперплоскости, а точки данных, помеченные <code>1, попадают на другую сторону, где уравнение> 0.
Вектор, нормальный дляэта гиперплоскость равна .Угол между точками данных с меткой 0
должен быть больше 90
градусов, а точки данных между точками данных с меткой 1
должны быть меньше 90
градусов.
Существует три возможности (без учета курса обучения)
- : подразумевается, что этот пример правильно классифицирован по текущему набору весов.Поэтому нам не нужны какие-либо изменения для конкретной точки данных.
- , что подразумевает, что целью было
1
, но нынешний набор весов классифицировал его как 0
.Уравнение, который должен был быть .EQ1.в этом случае , что означает, что угол между и на больше, чем 90
градусов, которые должны были быть меньше.Правило обновления: .Если представить сложение вектора в 2d, это приведет к повороту гиперплоскости так, что угол между и будет ближе, чем прежде, и меньше, чем 90
градусов. - , что означает, что целью было
0
, но существующий набор весов классифицировал его как 1
.Eq1., который должен был быть .EQ1.в этом случае указывает, что угол между и составляет меньше, чем 90
градусов, который должен был быть больше.Правило обновления: .Точно так же это будет вращать гиперплоскость так, что угол между и больше 90
градусов.
Это повторяетсянад и над, и гиперплоскость поворачивается и регулируется таким образом, чтобы угол нормали гиперплоскости составлял менее 90
градусов с точкой данных с классом, помеченным 1
, и больше, чем 90
градусов с точками данных класса, помеченными 0
.
Если величина огромна, произойдут большие изменения, и, следовательно, это вызовет проблемы в процессе, и может потребоваться больше итераций для схождения в зависимости от величиныначальные веса.Поэтому хорошей идеей является нормализация или стандартизация точек данных.С этой точки зрения легко визуализировать, что именно делают правила обновления визуально (рассмотрим смещение как часть гиперплоскости (1)).Теперь распространите это на более сложные сети и / или с пороговыми значениями.
Рекомендуемое чтение и справочник: Нейронные сети, систематическое введение Рауля Рохаса : Глава 4