Как построить точность и вспомнить мультиклассовый классификатор?

Question

Я использую scikit learn, и я хочу построить график точности и отзыва. Я использую классификатор RandomForestClassifier. Все ресурсы в документации по Scikit Learn используют двоичную классификацию. Кроме того, я могу построить кривую ROC для мультикласса?

Кроме того, я нашел только для SVM для мульти-метки, и он имеет decision_function, который RandomForest не имеет

Answer 1

Из научно-технической документации:

• Precision-Recall

Кривые точности-отзыва обычно используются в двоичной классификации для изучить вывод классификатора. Чтобы продлить Кривая точности возврата и средняя точность для мультикласса или мульти метка классификации, необходимо преобразовать в двоичную форму вывод. Для каждого ярлыка можно нарисовать одну кривую, но можно также нарисовать Кривая точного возврата с учетом каждого элемента метки индикаторная матрица как двоичное предсказание (микроусреднение).

• Характеристика работы приемника (ROC) :

Кривые ROC обычно используются в двоичной классификации для изучения вывод классификатора. Чтобы расширить кривую ROC и область ROC до мультиклассовая или мультиметочная классификация, необходимо преобразовать в двоичную форму выход. Для каждого ярлыка можно нарисовать одну кривую ROC, но можно также нарисовать ROC-кривую с учетом каждого элемента индикатора метки матрица как двоичное предсказание (микроусреднение).

Следовательно, вы должны преобразовать выходные данные в двоичную форму и рассмотреть кривые точности-возврата и roc для каждого класса. Более того, вы собираетесь использовать predict_proba для получения вероятностей класса.

Я делю код на три части:

1. общие настройки, обучение и прогноз
2. Кривая точного возврата
3. ROC-кривая

1. общие настройки, обучение и прогноз

from sklearn.datasets import fetch_mldata
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.multiclass import OneVsRestClassifier
from sklearn.metrics import precision_recall_curve, roc_curve
from sklearn.preprocessing import label_binarize

import matplotlib.pyplot as plt
#%matplotlib inline

mnist = fetch_mldata("MNIST original")
n_classes = len(set(mnist.target))

Y = label_binarize(mnist.target, classes=[*range(n_classes)])

X_train, X_test, y_train, y_test = train_test_split(mnist.data,
                                                    Y,
                                                    random_state = 42)

clf = OneVsRestClassifier(RandomForestClassifier(n_estimators=50,
                             max_depth=3,
                             random_state=0))
clf.fit(X_train, y_train)

y_score = clf.predict_proba(X_test)

2. Кривая точного возврата

# precision recall curve
precision = dict()
recall = dict()
for i in range(n_classes):
    precision[i], recall[i], _ = precision_recall_curve(y_test[:, i],
                                                        y_score[:, i]))
    plt.plot(recall[i], precision[i], lw=2, label='class {}'.format(i))

plt.xlabel("recall")
plt.ylabel("precision")
plt.legend(loc="best")
plt.title("precision vs. recall curve")
plt.show()

3. ROC кривой

# roc curve
fpr = dict()
tpr = dict()

for i in range(n_classes):
    fpr[i], tpr[i], _ = roc_curve(y_test[:, i],
                                  y_score[:, i]))
    plt.plot(fpr[i], tpr[i], lw=2, label='class {}'.format(i))

plt.xlabel("false positive rate")
plt.ylabel("true positive rate")
plt.legend(loc="best")
plt.title("ROC curve")
plt.show()