Как рассчитать вероятность предсказания в Python и NLTK?

Question

Я пытаюсь рассчитать каждую вероятность предсказания в модели SVM, используя LinearSVC и OneVsRestClassifier, но получаю ошибку

AttributeError: 'LinearSVC' object has no attribute 'predict_proba'

пробный код:

model = Pipeline([('vectorizer', CountVectorizer(ngram_range=(1,2))),
    ('tfidf', TfidfTransformer(use_idf=True)),
    ('clf', OneVsRestClassifier(LinearSVC(class_weight="balanced")))])

model.fit(X_train, y_train)
y_train.shape
pred = model.predict(X_test)

probas = model.predict_proba(X_test)

Также пробовал:

from nltk.classify.scikitlearn import SklearnClassifier
from sklearn.svm import SVC

LinearSVC_classifier = SklearnClassifier(SVC(kernel='linear',probability=True))
prob_1 = LinearSVC_classifier.predict_proba(X_test)

но все равно получаю ошибку AttributeError: 'SklearnClassifier' object has no attribute 'predict_proba'

Пожалуйста, предложение для того же.

Answer 1

с вашим линейным SVM:

from sklearn.calibration import CalibratedClassifierCV
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import FeatureUnion, make_pipeline
from sklearn.svm import LinearSVC

word_vectorizer = TfidfVectorizer(ngram_range=(1, 2))
features = FeatureUnion([('words', word_vectorizer), ])
calibrated_svc = CalibratedClassifierCV(LinearSVC(), method='sigmoid', cv=3)
pipeline = make_pipeline(features, calibrated_svc)
pipeline.fit(train_x, train_y)
predicted = pipeline.predict_proba(test_x)

или с логистической регрессией:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import FeatureUnion, make_pipeline
from sklearn.linear_model import LogisticRegression

word_vectorizer = TfidfVectorizer(ngram_range=(1, 2))
features = FeatureUnion([('words', word_vectorizer), ])
pipeline = make_pipeline(features, LogisticRegression())
pipeline.fit(train_x, train_y)
predicted = pipeline.predict_proba(test_x)

Answer 2

Просто потому, что объект 'SKlearnClassifier' не имеет атрибута'prept_proba '

Вы можете предсказать вероятность таким образом,

 classifier.classify_many(test)

 for pdist in classifier.prob_classify_many(test):
...     print('%.4f %.4f' % (pdist.prob('x'), pdist.prob('y')))

код от здесь