Окончательное обновление:
В результате очень ценных комментариев user2357112 (см. Также его / ее ответ ниже) и после прочтения нескольких недоразумений и ложной информации в ИнтернетеНаконец, мне пришлось провести какое-то расследование по поводу формулы типа f1-Score .Как показывает user2357112 ниже (на самом деле сначала), f1_macro имеет немного другой алгоритм, чем вы использовали при ручном расчете.В конце концов я нашел надежный источник .
Доказательство того, что sklearn использует этоформула:
Фрагмент из sklearn * classification.py модуля precision_recall_fscore_support() метод:
precision = _prf_divide(tp_sum, pred_sum,
'precision', 'predicted', average, warn_for)
recall = _prf_divide(tp_sum, true_sum,
'recall', 'true', average, warn_for)
# Don't need to warn for F: either P or R warned, or tp == 0 where pos
# and true are nonzero, in which case, F is well-defined and zero
f_score = ((1 + beta2) * precision * recall /
(beta2 * precision + recall))
f_score[tp_sum == 0] = 0.0
# Average the results
if average == 'weighted':
weights = true_sum
if weights.sum() == 0:
return 0, 0, 0, None
elif average == 'samples':
weights = sample_weight
else:
weights = None
if average is not None:
assert average != 'binary' or len(precision) == 1
precision = np.average(precision, weights=weights)
recall = np.average(recall, weights=weights)
f_score = np.average(f_score, weights=weights)
true_sum = None # return no support
return precision, recall, f_score, true_sum
Как мы видим sklearn сделать финалсреднее перед точностью и отзывом должны быть усреднены:
precision = np.average(precision, weights=weights)
recall = np.average(recall, weights=weights)
f_score = np.average(f_score, weights=weights)
Наконец немного изменили ваш код:
from sklearn import datasets
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
from sklearn.model_selection import train_test_split
iris = datasets.load_iris()
data=pd.DataFrame({
'sepal length':iris.data[:,0],
'sepal width':iris.data[:,1],
'petal length':iris.data[:,2],
'petal width':iris.data[:,3],
'species':iris.target
})
X=data[['sepal length', 'sepal width', 'petal length', 'petal width']]
y=data['species']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
clf=RandomForestClassifier(n_estimators=100)
clf.fit(X_train,y_train)
y_pred=clf.predict(X_test)
#Compute metrics using scikit
from sklearn import metrics
print(metrics.confusion_matrix(y_test, y_pred))
print(metrics.classification_report(y_test, y_pred))
pre_macro = metrics.precision_score(y_test, y_pred, average="macro")
recall_macro = metrics.recall_score(y_test, y_pred, average="macro")
f1_macro_scikit = metrics.f1_score(y_test, y_pred, average="macro")
f1_score_raw = metrics.f1_score(y_test, y_pred, average=None)
f1_macro_manual = f1_score_raw.mean()
print ("Prec_macro_scikit:", pre_macro)
print ("Rec_macro_scikit:", recall_macro)
print ("f1_macro_scikit:", f1_macro_scikit)
print("f1_score_raw:", f1_score_raw)
print("f1_macro_manual:", f1_macro_manual)
Out:
[[16 0 0]
[ 0 15 0]
[ 0 6 8]]
precision recall f1-score support
0 1.00 1.00 1.00 16
1 0.71 1.00 0.83 15
2 1.00 0.57 0.73 14
avg / total 0.90 0.87 0.86 45
Prec_macro_scikit: 0.9047619047619048
Rec_macro_scikit: 0.8571428571428571
f1_macro_scikit: 0.8535353535353535
f1_score_raw: [1. 0.83333333 0.72727273]
f1_macro_manual: 0.8535353535353535
В качестве альтернативы вы можете выполнить «ручной расчет» аналогично тому, как вы это делали:
import numpy as np
pre = metrics.precision_score(y_test, y_pred, average=None)
recall = metrics.recall_score(y_test, y_pred, average=None)
f1_macro_manual = 2 * pre * recall / (pre + recall )
f1_macro_manual = np.average(f1_macro_manual)
print("f1_macro_manual_2:", f1_macro_manual)
Out:
f1_macro_manual_2: 0.8535353535353535