Я реализовал обучение по дереву решений для некоторых примеров. Я также хотел бы внедрить Adaboost поверх ученика дерева решений.
Я написал алгоритм обучения adaboost, но мои веса не влияют на создание моих пней, поэтому мой алгоритм получения информации не работает правильно с взвешенными примеры.
Я гуглил и искал повсюду, но не могу найти конкретного объяснения того, как веса (обновляемые в каждом раунде Adaboost) влияют на получение информации. Кстати, мое дерево решений - это двоичное дерево (только true / false для каждого атрибута).
- Я вычисляю энтропию цели
- Я делю на атрибут, который я нахожу усиление для
- Рассчитайте энтропию каждой стороны и среднее значение
- Вычтите среднее значение из энтропии цели
Этот алгоритм, похоже, сработал для поиска усиления для принятия решения деревья (с 97% -й точностью при наборе данных из 30 000 невидимых векторов атрибутов), но я не могу включить взвешенные примеры в свой алгоритм. Где учитываются веса?