Как узнать, какие функции оказывают большее влияние на прогнозирование целевого класса?

Question

У меня бизнес-проблема, я запустил регрессионную модель в python, чтобы предсказать мое целевое значение.При проверке его с помощью моего тестового набора я узнал, что моя прогнозируемая переменная очень далека от моего фактического значения.Теперь, что я хочу извлечь из этой модели, так это то, какая функция сыграла роль, чтобы отклонить мое прогнозируемое значение от фактического значения (скажем, разница в некотором пороговом значении)?Я хочу ранжировать функции, чтобы я мог обратиться к своему клиенту.Спасибо

Answer 1

Проверьте Случайный Лесной Регрессор - для выполнения Регрессии.

# Example 
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_features=4, n_informative=2,
                       random_state=0, shuffle=False)
regr = RandomForestRegressor(max_depth=2, random_state=0,
                             n_estimators=100)
regr.fit(X, y)
print(regr.feature_importances_)
print(regr.predict([[0, 0, 0, 0]]))

Проверьте regr.feature_importances_ для получения более высоких, более важных функций.Дополнительная информация о FeatureImportance

Edit-1:
Как указано в комментарии пользователя (@blacksite), только feature_importance не дает полной интерпретацииСлучайный лес.Для дальнейшего анализа результатов и ответственных функций.Пожалуйста, обратитесь к следующим блогам

• https://medium.com/usf-msds/intuitive-interpretation-of-random-forest-2238687cae45 ( предпочтительнее , поскольку в нем предусмотрено несколько методов)
• https://blog.datadive.net/interpreting-random-forests/ (фокусируется на 1 методике, но также предоставляет библиотеку python - treeinterpreter )

Подробнее о feature_importance:

• Есливы просто используете атрибут feature_importances_, чтобы выбрать объекты с наивысшей оценкой важности. Выбор элемента с использованием значений элементов
• Важность элемента также зависит от критериев, используемых для разделения
  и расчета важности Интерпретация дерева решений в контексте значений элементов

Answer 2

Это зависит от выбранного вами оценщика, у линейных моделей часто есть метод coef_, который вы можете вызвать, чтобы получить коэффициент, используемый для каждой функции, если они нормализованы, это говорит вам, что вы хотите знать.

Каксказанное выше для древовидной модели у вас есть особенность важности.Вы также можете использовать библиотеки, такие как treeinterpreter, описанный здесь: Интерпретация случайного леса

примеры

Answer 3

Вы можете взглянуть на это - Выбор функции