Различные результаты roc_auc в Mlxtend против Sklearn - PullRequest
Новая
       82

Различные результаты roc_auc в Mlxtend против Sklearn

0 голосов
/ 22 декабря 2019

Я выполнил последовательный выбор объектов (mlxtend), чтобы найти лучшие (по оценке roc_auc) функции для использования в KNN. Однако, когда я выбираю лучшие функции и запускаю их через sklearn knn с теми же параметрами, я получаю совершенно другое значение roc_auc (0,83 против 0,67).

Чтение документации mlxtend, он использует sklearn roc_auc, поэтому я не могу понять, почему я получаю такие разные оценки.

Mlxtend 

knn = KNeighborsClassifier(n_neighbors=4)

from mlxtend.feature_selection import SequentialFeatureSelector as SFS


sfs1 = SFS(knn, 
           k_features=5, 
           forward=True, 
           floating=True, 
           verbose=2,
           scoring='roc_auc',
           cv=5)

sfs1 = sfs1.fit(X, y)

sequential feature selection output

Sklearn Я взял это из примера sklearn - https://scikit -learn.org / stable / auto_examples / model_selection / plot_roc_crossval.html 

##KNN
cv = StratifiedKFold(n_splits=5,shuffle=False)
classifier = KNeighborsClassifier(n_neighbors=4,weights='uniform')

tprs = []
aucs = []
mean_fpr = np.linspace(0, 1, 100)

i = 0
for train, test in cv.split(X, y):
    probas_ = classifier.fit(X[train], y[train]).predict_proba(X[test])
    # Compute ROC curve and area the curve
    fpr, tpr, thresholds = roc_curve(y[test], probas_[:, 1])
    tprs.append(interp(mean_fpr, fpr, tpr))
    tprs[-1][0] = 0.0
    roc_auc = auc(fpr, tpr)
    aucs.append(roc_auc)
    plt.plot(fpr, tpr, lw=1, alpha=0.3,
             label='ROC fold %d (AUC = %0.2f)' % (i, roc_auc))

    i += 1

plt.plot([0, 1], [0, 1], linestyle='--', lw=2, color='r',
         label='Chance', alpha=.8)

mean_tpr = np.mean(tprs, axis=0)
mean_tpr[-1] = 1.0
mean_auc = auc(mean_fpr, mean_tpr)
std_auc = np.std(aucs)
plt.plot(mean_fpr, mean_tpr, color='b',
         label=r'Mean ROC (AUC = %0.2f $\pm$ %0.2f)' % (mean_auc, std_auc),
         lw=2, alpha=.8)

std_tpr = np.std(tprs, axis=0)
tprs_upper = np.minimum(mean_tpr + std_tpr, 1)
tprs_lower = np.maximum(mean_tpr - std_tpr, 0)
plt.fill_between(mean_fpr, tprs_lower, tprs_upper, color='grey', alpha=.2,
                 label=r'$\pm$ 1 std. dev.')

plt.xlim([-0.05, 1.05])
plt.ylim([-0.05, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('KNN ROC')
plt.legend(loc="lower right")
plt.show()

Sklearn output

ОС: 10.14.6

Python: 3.6.8.final.0

Sklearn: 0,21,3

mlxtend: 0,17,0

...