Когда я пытаюсь приспособить модель scikit-learn к еще одной функции, у меня появляется эта ошибка «ValueError: Найдены входные переменные с непоследовательным количеством выборок»

Question

У меня этот код работает нормально

    df_amazon = pd.read_csv ("datasets/amazon_alexa.tsv", sep="\t")

    X = df_amazon['variation'] # the features we want to analyze
    ylabels = df_amazon['feedback'] # the labels, or answers, we want to test against

    X_train, X_test, y_train, y_test = train_test_split(X, ylabels, test_size=0.3)

    # Create pipeline using Bag of Words
    pipe = Pipeline([('cleaner', predictors()),
                     ('vectorizer', bow_vector),
                     ('classifier', classifier)])

    pipe.fit(X_train,y_train)

Но если я попытаюсь добавить еще одну функцию в модель, заменив

    X = df_amazon['variation']

на

    X = df_amazon[['variation','verified_reviews']] 

У меня появляется это сообщение об ошибке от Sklearn, когда я звоню fit:

ValueError: Найдены входные переменные с непоследовательным количеством выборок: [2, 2205]

Итакfit работает, когда X_train и y_train имеют формы (2205,) и (2205,).

Но не тогда, когда формы меняются на (2205, 2) и (2205,).

Какой лучший способ справиться с этим?

Answer 1

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

df = pd.DataFrame(data = [['Heather Gray Fabric','I received the echo as a gift.',1],['Sandstone Fabric','Without having a cellphone, I cannot use many of her features',0]], columns = ['variation','review','feedback'])


vect = CountVectorizer()
vect.fit_transform(df[['variation','review']])

# now when you look at vocab that has been created
print(vect.vocabulary_)

#o/p, where feature has been generated only for column name and not content of particular column
Out[49]:
{'variation': 1, 'review': 0} 

#so you need to make one column which contain which contain variation and review both and that  need to be passed into your model
df['variation_review'] = df['variation'] + df['review']

vect.fit_transform(df['variation_review'])
print(vect.vocabulary_)

{'heather': 8,
'gray': 6,
'fabrici': 3,
'received': 9,
'the': 11,
'echo': 2,
'as': 0,
'gift': 5,
'sandstone': 10,
'fabricwithout': 4,
'having': 7,
'cellphone': 1}

Answer 2

Данные должны иметь форму (n_samples, n_features).Попробуйте перенести X (X.T).