Эффективен ли XGBoost для выбора переменных?

Question

Я понял использование XGBoost, я понял, что это был любительский вопрос

Можно ли использовать XGBoost для исключения и выбора переменных, таких как LASSO, или нам сначала нужно использовать LASSO для исключения переменных, а затемнаконец использовать XGBoost, чтобы получить прогноз?

Answer 1

XGBoost достаточно эффективен для прогнозирования при наличии избыточных переменных (функций).Поскольку основной алгоритм повышения градиента сам по себе устойчив к мультиколлинеарности .

Но настоятельно рекомендуется удалить (спроектировать) любые избыточные функции из любого набора данных, используемого для обучения любому алгоритму выбора (будь то LASSO или XGBoost).

Кроме того, вы можете объединить эти два метода, используя Обучение ансамблю.