Как отличить направление важных функций от xgboost или случайного леса?

Question

Сейчас я работаю над проблемой классификации двоичного текста (например, анализа настроений), и тривиально вытащить основные важные функции xgboost или случайного леса просто на feature_importances_

Предположим, у нас есть две метки 1и 0 для этой проблемы классификации. Тогда есть ли способ распечатать направление функций (положительное или отрицательное)? Скажем, функция слова A имеет обогащение или высокое значение tfidf с надписью 1.

Конечно, я мог бы извлечь столбец tfidf этой конкретной функции слова и соотнести с надписью коэффициент Пирсона и +/-коэффициент будет указывать направление, верно? Любой другой, более элегантный способ для этого или xgboost и случайного леса имеет встроенные такие функции. (Я не нашел)

Спасибо

Answer 1

В дополнение к Лайму (который предложил Сэм Н), здесь также можно указать SHAP .

Answer 2

Это не совсем то, что вы просите, но я обычно использую Лайм , чтобы сделать это. Мне нравится, как это работает, даже если я переключаю модели.