Ошибка прогнозирования: X имеет n функций на выборку, ожидая m

Question

Я получил следующий код, где я преобразовываю текст в tf:

...
x_train, x_test, y_train, y_test = model_selection.train_test_split(dataset['documents'],dataset['classes'],test_size=test_percentil)
#Term document matrix
count_vect = CountVectorizer(ngram_range=(1, Ngram), min_df=1, max_features=MaxVocabulary)
x_train_counts = count_vect.fit_transform(x_train)
x_test_counts=count_vect.transform(x_test)
#Term Inverse-Frequency
tf_transformer = TfidfTransformer(use_idf=True).fit(x_train_counts)
lista=tf_transformer.get_params()
x_train_tf = tf_transformer.transform(x_train_counts)
x_test_tf=tf_transformer.transform(x_test_counts)
...

Затем я тренирую модель и сохраняю ее, используя рассол. Проблема возникает, когда в другой программе я пытаюсь предсказать новые данные. В основном я получил:

count_vect = CountVectorizer(ngram_range=(1, 1), min_df=1, max_features=None)
x_counts = count_vect.fit_transform(dataset['documents'])

#Term Inverse-Frequency
tf_transformer = TfidfTransformer(use_idf=True).fit(x_counts)
x_tf = tf_transformer.transform(x_train_counts)

model.predict(x_tf)

Когда я выполняю этот код, вывод

ValueError: X имеет 8933 функции на выборку; ожидая 7488

Я знаю, что это проблема с представлением TfIdf, и я слышал, что мне нужно использовать один и тот же tf_transformer и vectorizer, чтобы получить ожидаемую форму ввода, но я не знаю, как этого добиться. Я могу хранить другие трансформеры и векторизаторы, но я пробовал использовать разные комбинации и ничего не получил.

Answer 1

В другой программе вы создаете экземпляр нового объекта, который не будет знать, что в предыдущих данных столько столбцов.

Вам необходимо сохранить CountVectorizer и TfidfTransformer так же, как вы сохранили модель и загрузить их таким же образом в другую программу.

Кроме того, вы можете просто использовать TfidfVectorizer вместо CountVectorizer + TfidfTransformer, потому что он выполняет комбинированные функции и сделает вашу работу (сохранение и загрузка их проще).

Итак, во время тренировки сделайте это:

...
x_train, x_test, y_train, y_test = model_selection.train_test_split(dataset['documents'],dataset['classes'],test_size=test_percentil)
#Term document matrix
tf_vect = TfidfVectorizer(ngram_range=(1, Ngram), min_df=1, max_features=MaxVocabulary, use_idf=True)
x_train_tf = tf_vect.fit_transform(x_train)
x_test_tf = tf_vect.transform(x_test)

...

Answer 2

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.externals import joblib
a = pd.Series(["hello, this is me", "hello this is me too"])
b = pd.Series(["hello, this is John", "hi it's Doe"])
tfidf = TfidfVectorizer().fit(a)
joblib.dump(tfidf, 'path_to/tfidf.pkl')
tfidf = joblib.load('path_to/tfidf.pkl')
tfidf.transform(b).todense()