Ошибка: метрики классификации не могут обрабатывать сочетание целей с несколькими классами-выходами и индикаторами с несколькими метками

Question

Я новичок в машинном обучении в целом.

Я пытаюсь провести многолабильную классификацию текста.У меня есть оригинальные ярлыки для этих документов, а также результат классификации (используется классификатор mlknn), представленный в виде одного горячего кодирования (19000 документов x 200 ярлыков).Сейчас я пытаюсь оценить классификацию с помощью f1_score micro и macro, но я получаю эту ошибку (в строке 3) ValueError: Classification metrics can't handle a mix of multiclass-multioutput and multilabel-indicator targets, и я не знаю, как ее решить.Это мой код:

1. y_true = np.loadtxt("target_matrix.txt")
2. y_pred = np.loadtxt("classification_results.txt")

3. print (f1_score(y_true, y_pred, average='macro'))
4. print (f1_score(y_true, y_pred, average='micro'))

Я также пытался использовать cross_val_score для классификации, чтобы сразу получить оценку, но столкнулся с другой ошибкой (из строки cross_val_score):

File "_csparsetools.pyx", line 20, in scipy.sparse._csparsetools.lil_get1
File "_csparsetools.pyx", line 48, in scipy.sparse._csparsetools.lil_get1
IndexError: column index (11) out of bounds

это мой код:

X = np.loadtxt("docvecs.txt", delimiter=",")
y = np.loadtxt("target_matrix.txt", dtype='int')

cv_scores = []
mlknn = MLkNN(k=10)  
scores = cross_val_score(mlknn, X, y, cv=5, scoring='f1_micro')
cv_scores.append(scores)

любая помощь с любой из ошибок очень ценится, спасибо.

Answer 1

Я создавал массив y вручную, и, похоже, это была моя ошибка. Я использовал MultiLabelBinarizer для его создания, как в следующем примере, и теперь он работает:

train_foo = [['sci-fi', 'thriller'],['comedy'],['sci-fi', 'thriller'],['comedy']]
mlb = MultiLabelBinarizer()
mlb_label_train = mlb.fit_transform(train_foo)

X = np.loadtxt("docvecs.txt", delimiter=",")
cv_scores = []
mlknn = MLkNN(k=3) 
scores = cross_val_score(mlknn, X, mlb_label_train, cv=5, scoring='f1_macro')
cv_scores.append(scores)

документацию для MultiLabelBinarizer вы можете найти здесь .

Answer 2

Можете ли вы показать первые пару элементов у? Вы используете scikit-multilearn? Кроме того, если вы можете использовать кандидат на выпуск 0.1.0 для scikit-multilearn, вторая ошибка, скорее всего, является ошибкой, которая была исправлена ​​в master, и новая версия планируется выпустить через пару дней.

Вы можете получить мастер через пункт: pip uninstall -y scikit-multilearn pip install https://github.com/scikit-multilearn/scikit-multilearn/archive/master.zip