Поиск специфичных для метки главных характеристик нелинейного классификатора

Question

Существует ли какая-либо функция, которая дает основные характеристики каждой метки в классификаторе Random Forest / XG Boost?classifier.feature_importances_ дает только основные функции для классификатора в целом.

Ищет что-то похожее на classifier.coef_, которое дает специфичные для метки основные функции для классификаторов SVM и Наивного байесовского в sklearn.

Answer 1

import pandas as pd
feature_importances = pd.DataFrame(rf.feature_importances_,
                               index = X_train.columns,
                      columns=['importance']).sort_values('importance',ascending=False)

Попробуйте с этим!

Или 1 против отдыха - это тоже хороший вариант, но отнимает много времени.

Answer 2

Во-первых, Random Forest / Xgboost или даже простой DecisionTree / any Tree ансамбль является присущей многоклассовой классификационной моделью. Следовательно, он будет предсказывать вывод мультикласса без использования какой-либо обертки (1 против 1/1 против отдыха) поверх двоичного классификатора (что и будет делать логистическая регрессия / SVM / SGDClassifier).

Следовательно, вы можете получить важность функции только для общей многоклассовой классификации, а не для отдельных ярлыков.

Если вы действительно хотите знать важность функции для отдельных меток, тогда используйте оболочку onevsRest с решениемreeTree / RandomForest / Xgboost в качестве оценщика. Это не рекомендуемый подход, потому что результаты могут быть неоптимальными по сравнению с одним деревом решений.

Некоторые примеры здесь .