Понимание основной идеи повышения градиента для машинного обучения

Question

Мое понимание повышения градиента таково ...

Мы можем сделать модель намного более сложной, создав множество деревьев решений последовательно. Каждое дерево решений строится друг на друге. Цель каждого нового дерева - исправить ошибки, в которых предыдущие деревья наиболее ошибочны. Если у нас было 3000 деревьев решений, это означает, что ошибки минимизируются 3000 раз. К концу мы бы уменьшили ошибки.

Есть ли какая-то ошибка в моем понимании?

Answer 1

нет, ваше понимание верно. потому что повышение градиента использует логику, в которой последующие предикторы учатся на ошибках предыдущих предикторов. Поэтому наблюдения имеют неодинаковую вероятность появления в последующих моделях, и наиболее часто встречаются те, которые имеют наибольшую погрешность. Предикторы могут быть выбраны из ряда моделей, таких как деревья решений. Поскольку новые предикторы учатся на ошибках, допущенных предыдущими предикторами, требуется меньше времени / итераций, чтобы приблизиться к фактическим прогнозам.