разные результаты в расчете отзыва и точности из двух разных методов - PullRequest
Новая
       85

разные результаты в расчете отзыва и точности из двух разных методов

0 голосов
/ 10 марта 2019

Согласно приведенному ниже коду, я рассчитываю показатели отзыва и точности для определенного классификатора 

clf = GradientBoostingClassifier(n_estimators=20)
clf.fit(X_train,y_train)
pred=clf.predict(X_test)
precision_recall_fscore_support(y_test, pred, average='micro' or, 'weighted', or, 'macro', or 'none')

Тогда результат будет 

(0.8861803737814977, 0.8714028776978417, 0.8736586610015085, None)
(0.8714028776978417, 0.8714028776978417, 0.8714028776978417, None)
(0.8576684989847967, 0.883843537414966, 0.8649539913120651, None)

(array([0.95433071, 0.76100629]),
 array([0.84166667, 0.92602041]),
array([0.89446494, 0.83544304]),
array([720, 392]))

Но если я вычислю их, используя 

clf = GradientBoostingClassifier()
skf = StratifiedKFold(n_splits=10)
param_grid = {'n_estimators':range(20,23)}

grid_search = GridSearchCV(clf, param_grid, scoring=scorers, refit=recall_score,

                       cv=skf, return_train_score=True, n_jobs=-1)
results = pd.DataFrame(grid_search_clf.cv_results_)

Тогда я получу следующее таблица

Вы можете видеть, что средний показатель отзыва и точности очень отличается от того, который был рассчитан на предыдущем шаге, в то время как одни и те же данные с одним и тем же параметром были применены к обоим. Мне было интересно, если кто-нибудь может мне помочь, что я делаю не так

1 Ответ

0 голосов
/ 10 марта 2019

Ну, метрики рассчитаны на разные вещи. 

precision_recall_fscore_support(y_test, pred)

Показывает значение метрики на тестовых данных.

Но когда вы используете GridSearchCV, данные поезда делятся на поезда и тестируются в соответствии с заданным cv, и по этим тестовым данным вычисляются метрики, которые являются подмножеством данных поезда. А затем показатели усредняются по сгибам.

...