Прогнозы классификаторов skmultiLearn всегда возвращают 0 - PullRequest
Новая
       46

Прогнозы классификаторов skmultiLearn всегда возвращают 0

1 голос
/ 16 октября 2019

Я довольно новичок в skmultiLearn, теперь я использую это для классификации по нескольким меткам в «китайских» документах. Набор данных для обучения довольно мал (например, 200 предложений), и я установил всего 6 классов. Даже если я использую предложение IN обучающий набор данных, я могу получить только [0,0,0,0,0,0] в качестве результата прогнозирования, могу ли я получить некоторую помощь в этом? Спасибо!

Мой код: 

# Import BinaryRelevance from skmultilearn
from skmultilearn.problem_transform import BinaryRelevance

from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.svm import SVC
from scipy import sparse 
import jieba
import codecs
import numpy as np

from warnings import simplefilter
simplefilter(action='ignore', category=FutureWarning)

Q_list = []
L_list = []

# Read Sentence file
with codecs.open('multi-label-Q.txt',encoding='utf-8') as infile:
    for line in infile:
        Q_list.append(line[:-2])
infile.close()

# Read Label file
with open('multi-label-L.txt') as infile:
    for line in infile:
        tmp_l = line[:-1].split(',')
        L_list.append(tmp_l)
infile.close()

L_list = np.array(L_list)

L_Question_list = []

# Preprocess for Chinese sentences
for line in Q_list:
    seg_list = jieba.lcut(line, cut_all=False)
    q_addSpace = ''
    for w in seg_list:
        q_addSpace = q_addSpace + w + ' '
    L_Question_list.append(q_addSpace[:-1])


cv = CountVectorizer()
cv_fit=cv.fit_transform(L_Question_list)

transformer = TfidfTransformer()
tfidf = transformer.fit_transform(cv_fit)

M = sparse.lil_matrix((len(L_list),6), dtype=int)
for i,row in enumerate(L_list):
    count = 0
    for col in row:
        M[i, count] = col
        count += 1

# Setup the classifier
clf = BinaryRelevance(classifier=SVC())



# Train
clf.fit(tfidf, M)

# A sentence in train dataset
x_test = '偏头痛多发于什么年龄层？'
# Preprocess for Chinese sentence
seg_list = jieba.lcut(x_test, cut_all=False)
q_addSpace = ''
for w in seg_list:
    q_addSpace = q_addSpace + w + ' '
X_test = [q_addSpace]
cv_fit2=cv.transform(X_test)
tfidf2 = transformer.transform(cv_fit2)


# Predict
pred = clf.predict(tfidf2)
print(pred.todense())

1 Ответ

0 голосов
/ 16 октября 2019

Теперь я понял, причина в том, что у меня слишком много данных с одной меткой.

Я использовал набор данных высокого значения и получил правильный результат.

Итак, ответ: польскийнабор данных.

...