Предсказать отзывы пользователей с помощью наивной байесовской модели

Question

Я использую набор данных с текстовыми отзывами о ресторане Yelp и их «звездным» рейтингом.Мои данные представляют собой df и выглядят так:

Textual Review           Numeric rating
"super cool restaurant"  5
"horrible experience"    1

Я построил модель MultinomialNB, которая предсказывает "звезду" (1 означает отрицательный, 5 означает положительный; используя только эти две категории) дляобзор.

import pandas as pd
import numpy as np
from textblob import TextBlob
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import confusion_matrix, classification_report
from nltk.corpus import stopwords
import string
import numpy

df = pd.read_csv('YELP_rev.csv')
#subsetting only the reviews on the extreme sides of the rating
df_class = df[(df['Numeric rating'] ==1) | (df['Numeric rating'] == 5)]

X = df_class['Textual review']
y = df_class['Numeric rating']
vectorizer=CountVectorizer()
X = vectorizer.fit_transform(X)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=101)

nb = MultinomialNB()
#fiting the model with X_train, y_train
nb.fit(X_train, y_train)
#doing preditions
pred = nb.predict(X_test)
print(confusion_matrix(y_test, pred))



precision    recall  f1-score   support

           1       0.43      0.33      0.38         9
           5       0.90      0.93      0.92        61

   micro avg       0.86      0.86      0.86        70
   macro avg       0.67      0.63      0.65        70
weighted avg       0.84      0.86      0.85        70

Я пытаюсь предсказать «звездный» рейтинг для предоставленного пользователем отзыва о ресторане. Вот мои попытки:

test_review = input("Enter a review:")  

def input_process(text):
    nopunc = [char for char in text if char not in string.punctuation]
    nopunc = ''.join(nopunc)
    return [word for word in nopunc.split() if word.lower() not in stopwords.words('english')]

new_x=vectorizer.transform(input_process(test_review))
test_review_rate = nb.predict(new_x)
print(test_review_rate)

Я не уверен, что вывод, который я получаю, правильный, так как я получаю массив результатов. Может ли кто-нибудь помочь мне интерпретировать эти оценки? Я просто беру среднее, и это будет мой "звездный" рейтинг за обзор?

>>Enter a review:We had dinner here for my birthday in Stockholm. The restaurant was very popular, so I would advise you book in advance.Blahblah
#my output
>>[5 5 5 5 5 5 5 5 5 1 5 1 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5
 5 5 5 5]

ps IЯ понимаю, что выборочные данные плохие, и моя модель смещена в сторону положительных оценок!Заранее спасибо!

Answer 1

Вам нужно join ваши слова обратно в одну строку.Прямо сейчас вывод из вашей функции input_process представляет собой список слов, поэтому ваша модель интерпретирует каждое слово как отдельную выборку ввода, поэтому вы получаете оценку за каждое слово в своем обзоре,вместо одного балла за весь текст.

Некоторые изменения в вашем коде:

def input_process(text):
    # Something you can try for removing punctuations
    translator = str.maketrans('', '', string.punctuation)
    nopunc = text.translate(translator)
    words = [word for word in nopunc.split() if word.lower() not in stopwords.words('english')]
    # Join the words back and return as a string
    return ' '.join(words)

# vectorizer.transform takes a list as input
# You will have to pass your single string input as a list
new_x=vectorizer.transform([input_process(test_review)])