XGBoost - выбрать дерево с максимальной точностью

Question

Мне нужно визуализировать эффекты XGBoost, и я хочу извлечь из него одно дерево, которое имеет наивысшую точность на тестовом наборе. Это каким-то образом встроено, или мне нужно проверить вручную все деревья? Я использую версию Python.

Answer 1

Если вы хотите проверить отдельные деревья в модели ансамбля деревьев, то вам следует подумать о переключении с алгоритма повышающего типа (например, XGBoost, LightGBM, GBM) на алгоритм типа мешков (например, Случайный лес) .

По определению, алгоритм упаковки выращивает деревья в порядке убывания «умности». В этом случае модель дерева с наивысшей точностью, вероятно, будет первой в ансамбле деревьев XGBoost.