TfidfTransformer и стоп-слова

Question

Я импортирую TfidfTransformer из sklearn и пытаюсь использовать аргумент stop_word, но он показывает ошибку.

from sklearn.feature_extraction.text import TfidfTransformer
tfidf = TfidfTransformer(stop_words='english')


TypeError                                 Traceback (most recent call last)
<ipython-input-16-1315a209c082> in <module>
      1 from sklearn.feature_extraction.text import TfidfTransformer
----> 2 tfidf = TfidfTransformer(stop_words='english')

TypeError: __init__() got an unexpected keyword argument 'stop_words'

Как решить эту ошибку?

Answer 1

Я думаю, что вы собираетесь использовать TfidfVectorizer, который имеет параметр stop_words. См. Документацию здесь

Пример:

from sklearn.feature_extraction.text import TfidfVectorizer
corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?',
]
vectorizer = TfidfVectorizer(stop_words='english')
X = vectorizer.fit_transform(corpus)