Как может отличаться точность между one_hot_encode и count_vectorizer для одного и того же набора данных?

Question

onehot_enc, BernoulliNB:

Здесь я использовал два разных файла для обзоров и меток, и я использовал "train_test_split", чтобы случайным образом разделить данные на 80% данных поезда и 20% данных теста.

reviews.txt:

Colors & clarity is superb
Sadly the picture is not nearly as clear or bright as my 40 inch Samsung
The picture is clear and beautiful
Picture is not clear

tags.txt:

positive
negative
positive
negative

Мой код:

from sklearn.preprocessing import MultiLabelBinarizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import BernoulliNB
from sklearn.metrics import confusion_matrix

with open("/Users/abc/reviews.txt") as f:
    reviews = f.read().split("\n")
with open("/Users/abc/labels.txt") as f:
    labels = f.read().split("\n")

reviews_tokens = [review.split() for review in reviews]

onehot_enc = MultiLabelBinarizer()
onehot_enc.fit(reviews_tokens)


X_train, X_test, y_train, y_test = train_test_split(reviews_tokens, labels, test_size=0.20, random_state=1)


bnbc = BernoulliNB(binarize=None)
bnbc.fit(onehot_enc.transform(X_train), y_train)

score = bnbc.score(onehot_enc.transform(X_test), y_test)
print("score of Naive Bayes algo is :" , score) // 90%

predicted_y = bnbc.predict(onehot_enc.transform(X_test))
tn, fp, fn, tp = confusion_matrix(y_test, predicted_y).ravel()
precision_score = tp / (tp + fp)
recall_score = tp / (tp + fn)

print("precision_score :" , precision_score) //92%
print("recall_score :" , recall_score) //97%

CountVectorizer, MultinomialNB:

Здесь я вручную разделил одни и те же данные на поезд (80%) и тест (20%). И я подаю эти два файла CSV для алгоритма.

Но это даетменьшая точность по сравнению с вышеуказанным методом.Может кто-нибудь помочь мне с тем же ...

train_data.csv:

   review,label
    Colors & clarity is superb,positive
    Sadly the picture is not nearly as clear or bright as my 40 inch Samsung,negative

test_data.csv:

 review,label
    The picture is clear and beautiful,positive
    Picture is not clear,negative

Мой код:

from sklearn.metrics import confusion_matrix
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import precision_score
from sklearn.metrics import recall_score


def load_data(filename):
    reviews = list()
    labels = list()
    with open(filename) as file:
        file.readline()
        for line in file:
            line = line.strip().split(',')
            labels.append(line[1])
            reviews.append(line[0])

    return reviews, labels

X_train, y_train = load_data('/Users/abc/Sep_10/train_data.csv')
X_test, y_test = load_data('/Users/abc/Sep_10/test_data.csv')

vec = CountVectorizer() 

X_train_transformed =  vec.fit_transform(X_train) 

X_test_transformed = vec.transform(X_test)

clf= MultinomialNB()
clf.fit(X_train_transformed, y_train)

score = clf.score(X_test_transformed, y_test)
print("score of Naive Bayes algo is :" , score) // 46%

y_pred = clf.predict(X_test_transformed)
print(confusion_matrix(y_test,y_pred))

print("Precision Score : ",precision_score(y_test, y_pred,average='micro'))//46%
print("Precision Score : ",recall_score(y_test, y_pred,average='micro')) // 46%

Answer 1

Проблема в том, что вы используете MultiLabelBinarizer для:

onehot_enc.fit(reviews_tokens)` 

перед разделением на тренировку и тестирование, и данные теста просочились в модель и, следовательно, более высокую точность.

С другой стороны, когда вы используете CountVectorizer, он видит только обученные данные, а затем игнорирует слова, которые не отображаются в обученных данных, что может оказаться полезным для модели для классификации.

Так что в зависимости от количества ваших данных, это может иметь огромное значение. В любом случае, ваш второй метод (с использованием CountVectorizer) является правильным и должен использоваться в случае текстовых данных. MultiLabelBinarizer и однократное кодирование в целом следует использовать только для категориальных данных, а не текстовых данных.

Можете ли вы поделиться своими полными данными?