вопрос о деревьях решений

Question

после некоторого изучения дерева решений я заметил, что есть небольшая техника, называемая бустингом.Я вижу, что в обычных случаях это повысит точность дерева решений.

Поэтому мне просто интересно, почему бы нам просто не включить это повышение в каждое построенное нами дерево решений?Поскольку в настоящее время мы оставляем повышение как отдельную технику, поэтому я размышляю: есть ли какие-либо недостатки в использовании повышения, чем просто в одном дереве решений?

Спасибо за помощь в этом!

Answer 1

Повышение - это методика, которая может превзойти любой алгоритм обучения. Это наиболее эффективно, когда созданный вами оригинальный классификатор работает чуть выше случайного. Если ваше дерево решений уже достаточно хорошее, повышение может не иметь большого значения, но будет иметь снижение производительности - если вы запускаете повышение в течение 100 итераций, вам придется обучать и хранить 100 деревьев решений.

Обычно люди повышаются с помощью пней решений (деревьев решений только с одним узлом) и получают результаты так же хорошо, как и с полными деревьями решений.

Я провел экспериментов с бустингом и обнаружил, что он довольно надежный, лучше, чем классификатор для одного дерева, но также медленнее (я использовал до 10 итераций) и не так хорош, как некоторые простые ученики (честно говоря, это был чрезвычайно шумный набор данных)

Answer 2

есть несколько недостатков для повышения: 1 - трудно реализовать 2 - им нужно обширное обучение с обучающими наборами больше, чем дерево решений 3 - самое худшее, что для всех алгоритмов повышения требуется пороговое значение, которое в большинстве случаев нелегко понять, потому что он требует обширных проб и ошибок, зная, что вся производительность алгоритма повышения зависит от этого порога