Построение ROC для мультикласса, но с ошибкой «слишком много индексов» - PullRequest
Новая
       59

Построение ROC для мультикласса, но с ошибкой «слишком много индексов»

0 голосов
/ 19 сентября 2019

У меня есть этот файл Excel, который имеет прогнозируемое значение и вероятность из моей модели. Мне нужно построить кривую ROC для этого мультикласса из этого Excel, который предназначен для Intent1,2,3 (как правило, около 70 намерений). 

Utterence   Intent_1    Conf_intent1 Intent_2   Conf_Intent2  ...so on 
Uttr 1      Intent1       0.86        Intent2       0.45         
Uttr2       Intent3       0.47        Intent1       0.76        
Uttr3       Intent1       0.70        Intent3       0.20         
Uttr4       Intent3       0.42        Intent2       0.67         
Uttr5       Intent1       0.70        Intent3       0.55             

Note: Probability is done on absolute scoring so will not add to 1 for particular utterence the highest probability will be predicted

Это мой код, для которого я получаю сообщение об ошибке: 

import pandas as pd 
import numpy as np 
from sklearn.metrics import multilabel_confusion_matrix
from sklearn.metrics import accuracy_score
from sklearn.metrics import classification_report
import matplotlib.pyplot as plt
from sklearn.preprocessing import LabelEncoder
from itertools import cycle
from sklearn import svm, datasets
from sklearn.metrics import roc_curve, auc
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import label_binarize
from sklearn.multiclass import OneVsRestClassifier
from scipy import interp

#reading the input file
df = pd.read_excel('C:\\test.xlsx')

#Converting the columns to array

predicted = df['Predicted'].to_numpy()
Score = df['Probability'].to_numpy()

labels=df['Predicted'].unique();mcm = multilabel_confusion_matrix(actual, predicted, labels=labels)


predicted = label_binarize(predicted, classes=labels)
n_class = predicted.shape[0]
print(n_class)

print(type(predicted))

# Compute ROC curve and ROC area for each class
fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(n_class):
    fpr[i], tpr[i], _ = roc_curve(predicted[:, i], Score[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])

# Plot of a ROC curve for a specific class
for i in range(n_class):
    plt.figure()
    plt.plot(fpr[i], tpr[i], label='ROC curve (area = %0.2f)' % roc_auc[i])
    plt.plot([0, 1], [0, 1], 'k--')
    plt.xlim([0.0, 1.0])
    plt.ylim([0.0, 1.05])
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('Receiver operating characteristic example')
    plt.legend(loc="lower right")
    plt.show()

Но я получаю сообщение об ошибке: 

File "roc.py", line 61, in <module>
    fpr[i], tpr[i], _ = roc_curve(predicted[:, i], Score[:, i])
IndexError: too many indices for array

Затем я удалил[:, 1] как от предсказанного, так и от балла 

raise ValueError("{0} format is not supported".format(y_type))
ValueError: multilabel-indicator format is not supported

Может кто-нибудь помочь мне в этом?

1 Ответ

1 голос
/ 25 сентября 2019

В код необходимо внести несколько изменений:

  • Во-первых, с точки зрения статистики: ROC AUC измеряется путем сравнения прогнозируемого показателя вероятности с фактической меткой,Вы сравниваете прогнозируемую вероятность с прогнозируемой меткой.Это не имеет смысла, поскольку они, очевидно, тесно связаны.

  • Во-вторых, с точки зрения кода: n_classes должно измерять не количество наблюдений, а количество классов,В результате вы должны сделать n_class = predicted.shape[1]

Я собрал этот ответ вместе, стараясь максимально придерживаться вашего кода: 

actual = df['Actual'].to_numpy()
Score = df[['Conf_intent1','Conf_intent2','Conf_intent3']].to_numpy()

labels=df['Actual'].unique()

actual = label_binarize(actual, classes=labels)
n_class = actual.shape[1]


# Compute ROC curve and ROC area for each class
fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(n_class):
    fpr[i], tpr[i], _ = roc_curve(actual[:, i], Score[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])

# Plot of a ROC curve for a specific class
for i in range(n_class):
    plt.figure()
    plt.plot(fpr[i], tpr[i], label='ROC curve (area = %0.2f)' % roc_auc[i])
    plt.plot([0, 1], [0, 1], 'k--')
    plt.xlim([0.0, 1.0])
    plt.ylim([0.0, 1.05])
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('Receiver operating characteristic example')
    plt.legend(loc="lower right")
    plt.show()
...