Как я могу использовать SVM для классификации текста без использования TF-IDF - PullRequest
Новая
       5

Как я могу использовать SVM для классификации текста без использования TF-IDF

0 голосов
/ 01 января 2019

Я хочу классифицировать каждое входящее сообщение. Я работаю с персидскими текстами.Я уже реализовал текстовый классификатор с помощью Наивного Байеса.я не использовал Tf-idf, потому что каждая функция важна для меня.Но я сделал несколько трюков, чтобы удалить stop-words и pouncs, чтобы повысить точность.

Я хочу реализовать классификатор текста с помощью SVM, но я много искал.все, что я нашел, связано с использованием функции конвейера с использованием Tf-idf.как показано ниже: 

model = Pipeline([(‘vectorizer’, CountVectorizer()),
(‘tfidf’, TfidfTransformer()),
(‘clf’, OneVsRestClassifier(LinearSVC(class_weight=”balanced”)))])

Теперь, как я могу использовать SVM без Tf-IDF?

спасибо

1 Ответ

0 голосов
/ 02 января 2019

См. Здесь для sklearn страница о SVM, там у вас есть раздел для классификации мультикласса с использованием SVM.Сначала вы должны преобразовать ваши тексты в вектор признаков (числовой, если вы хотите использовать SVM). Если вы хотите использовать пакет слов, вы можете использовать этот SO вопрос и этот Страница руководства sklearn

Вы можете использовать предварительно написанный код Python для создания BOW из ваших текстов, делающих что-то подобное - учтите, я собрал соответствующую информацию для OP - что было неясно и несовместимо с SO стандартами,поэтому вам может потребоваться немного поработать с кодом, чтобы он соответствовал вашим точным потребностям. 

>>> from sklearn.feature_extraction.text import CountVectorizer

>>> vectorizer = CountVectorizer()
>>> vectorizer                     
CountVectorizer(analyzer=...'word', binary=False, decode_error=...'strict',
        dtype=<... 'numpy.int64'>, encoding=...'utf-8', input=...'content',
        lowercase=True, max_df=1.0, max_features=None, min_df=1,
        ngram_range=(1, 1), preprocessor=None, stop_words=None,
        strip_accents=None, token_pattern=...'(?u)\\b\\w\\w+\\b',
        tokenizer=None, vocabulary=None)


>>> corpus = [
...     'This is the first document.',
...     'This is the second second document.',
...     'And the third one.',
...     'Is this the first document?',
... ]
>>> X = vectorizer.fit_transform(corpus)
>>> X                              
<4x9 sparse matrix of type '<... 'numpy.int64'>'
    with 19 stored elements in Compressed Sparse ... format>

Тогда вам может потребоваться преобразовать x в плотную матрицу (зависит от версии sklearn). Затем вы можете передать x вМодель SVM вы можете создать вот так 

>>>>from sklearn import svm
>>> X = [[0], [1], [2], [3]]
>>> Y = [0, 1, 2, 3]
>>> clf = svm.SVC(gamma='scale', decision_function_shape='ovo')
>>> clf.fit(X, Y) 
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
    decision_function_shape='ovo', degree=3, gamma='scale', kernel='rbf',
    max_iter=-1, probability=False, random_state=None, shrinking=True,
    tol=0.001, verbose=False)
>>> dec = clf.decision_function([[1]])
>>> dec.shape[1] # 4 classes: 4*3/2 = 6
6
>>> clf.decision_function_shape = "ovr"
>>> dec = clf.decision_function([[1]])
>>> dec.shape[1] # 4 classes
...