Ученик по многомерному дереву решений - PullRequest
5 голосов
/ 21 марта 2010

Много одномерных реализаций обучающихся по дереву решений (C4.5 и т. Д.) Действительно существуют, но действительно ли кто-то знает многомерные алгоритмы обучающихся по дереву решений?

Ответы [ 3 ]

6 голосов
/ 22 марта 2010

Беннетт и Блю Подход с использованием вектора опорных машин к деревьям решений выполняет многовариантное разбиение с использованием встроенных SVM для каждого решения в дереве.

Аналогичным образом, в Классификация мультикатегорий с помощью машин дискретных опорных векторов (2009) , Orsenigo и Vercellis встраивают мультикатегориальный вариант машин дискретных опорных векторов (DSVM) в узлы дерева решений.

1 голос
/ 25 августа 2010

алгоритм CART для дерева решений можно превратить в многовариантный.CART - это двоичный алгоритм разделения, в отличие от C4.5, который создает узел для уникального значения для дискретных значений.Они используют тот же алгоритм для MARS, что и для пропущенных значений.

Чтобы создать многовариантное дерево, вы вычисляете лучшее разбиение в каждом узле, но вместо того, чтобы отбрасывать все разбиения, которые были не лучшими, вы берете частьиз них (возможно, всех), затем оцените все атрибуты данных по каждому из потенциальных разбиений в этом узле, взвешенных по порядку.Таким образом, первый сплит (который приводит к максимальному усилению) взвешивается на 1. Затем следующий наибольший сплит усиления взвешивается на некоторую долю <1,0, и так далее.Где веса уменьшаются по мере того, как уменьшается усиление этого разделения.Затем это число сравнивается с тем же вычислением узлов в левом узле, если оно выше этого числа, идите влево.В противном случае идите направо.Это довольно грубое описание, но это многовариантное разбиение для деревьев решений. </p>

0 голосов
/ 20 декабря 2011

Да, есть такие, как OC1, но они встречаются реже, чем те, которые делают одномерные разбиения. Добавление многомерных разбиений значительно расширяет пространство поиска. В качестве своего рода компромисса я видел некоторых логических учеников, которые просто вычисляют линейные дискриминантные функции и добавляют их в список переменных-кандидатов.

...