Как создается граница решения для методов / дерева решений в машинном обучении?

Question

Деревья решений работают, разделяя обучающие подмножества на каждом узле, итерируя от корневых до конечных узлов, пока мы не получим наш результат классификации / регрессии.

Но какова фактическая граница решения (веса) рассчитано?Мы используем функцию стоимости для выполнения разделения на каждом узле.Эта функция затрат также помогает нам находить веса?

Например, чтобы построить классификатор AdaBoost, первый базовый классификатор (такой как дерево решений) обучается и используется для прогнозирования обучающего набора.Относительный вес неправильно обученных экземпляров затем увеличивается.Второй классификатор обучается с использованием обновленных весов, и он снова делает прогнозы на тренировочном наборе, весы обновляются и т. Д.

Как рассчитывается Относительный вес ?

Answer 1

В Adaboosting относительные веса рассчитываются следующим образом:

Во-первых, при m количестве тренировочных экземпляров каждому экземпляру присваивается равный вес 1 / м.

Теперь мы определим взвешенную частоту ошибок j-го предиктора / классификатора после обучения следующим образом:

r (j) = сумма (неправильные веса экземпляров) / сумма (веса всех экземпляров)

Теперь мы определим другой термин, вес предиктора / классификатора, следующим образом:

cw (j) = скорость обучения * log ((1 - r (j)) / (rj))

Теперь для относительных весов каждого экземпляра мы рассчитываем их следующим образом, где i - индекс / идентификатор экземпляра:

, если w (i) была правильно классифицирована в последнемпредиктор, то:

w (i) = w (i)

, иначе, если w (i) был неправильно классифицирован, то:

w (i) = w (i) * exp (cw (j))

Это увеличит вес ошибочно классифицированных экземпляров, если они составляют менее 50% экземпляров, если последний предиктор классифицировал 50% правильных экземпляров, это установитr (j) = .5, что приводит к cw (j) = 0, а w (i) для неправильных экземпляров будет равно w (i) * 1, что означает отсутствие изменений внеправильные веса экземпляров.