Почему я получаю сообщение об ошибке, в котором говорится, что тестовые данные имеют меньшее количество функций?

Question

Я пытаюсь реализовать модель LinearSVC на наборе данных, содержащем 25000 просмотров ie. 12 500 положительных отзывов, остальные отрицательные. Я пытаюсь векторизовать данные, используя TfidfVectorizer.

Это мой код:

import pandas as pd
from sklearn.svm import LinearSVC
from sklearn.feature_extraction.text import TfidfVectorizer

k=0

# reading training data from data-set and taking test data as input

rev=input('Enter:')
rev=rev.replace("<br />", " ")
data_folder= "C:/Users/Files/Desktop/Dataset/train"
for sentiment in (["/neg/","/pos/"]):
    #path would be the directory path 
    path=data_folder+sentiment
    #filename will store the NAME of the files that you want to access
    for filename in sorted(os.listdir(path)):
        #open file
        with open(path+ filename,"r",encoding= 'utf-8') as f:
                review=f.read()
                review=review.replace("<br />", " ")
                total.append(review)

# removing stop-words from data

for i in total:
    for j in stop_words:
        if j in i:
            i.replace(j,'')

for i in [rev]:
    for j in stop_words:
        if j in i:
            i.replace(j,'')

c=TfidfVectorizer()
f=c.fit_transform(total).toarray()
tst=c.fit_transform([rev]).toarray()


# 0 for negative data and 1 for positive data

while k!=12500:
    l.append(0)
    k+=1
while k!=25000:
    l.append(1)
    k+=1
m=LinearSVC(random_state=0,tol=1e-5)
m.fit(f,l)

if(m.predict(tst).tolist().count(1)>m.predict(tst).tolist().count(0)):
    print('Positive')
else:
    print('Negative')

Каждый раз, когда я запускаю этот код, я получаю эту ошибку

ValueError: X has 139 features per sample; expecting 79897

Что означает эта ошибка и как ее исправить?

Answer 1

Хорошо, я нашел решение, просто пришлось использовать transform() вместо fit_transform() для векторизации данных поезда, т. Е.

c=TfidfVectorizer()
f=c.fit_transform(total).toarray()
tst=c.transform([rev]).toarray()