Как рассчитать точность pos tagger по каждому тегу - PullRequest
Новая
       7

Как рассчитать точность pos tagger по каждому тегу

0 голосов
/ 31 октября 2018

Я создал почтовый тегер модели keras, используя статью статьи NLP4Hackers в качестве базового уровня. В настоящее время я могу вычислить точность непосредственно по методу keras model.evaluate . На самом деле, я хотел бы рассчитать точность по тегу, как показано ниже:

'JJ': точность 98,56,

'NNS': точность 99,01

'NN': точность 96,43

...

Любое предложение будет оценено.

Спасибо.

1 Ответ

0 голосов
/ 31 октября 2018

Все метрики оценки, которые вы можете себе представить, приведены в Scikit-learn

У вас есть две возможности, либо вы вычисляете матрицу путаницы и вы смотрите диагональные значения. 

y_true = ["cat", "ant", "cat", "cat", "ant", "bird"]
y_pred = ["ant", "ant", "cat", "cat", "ant", "cat"]
confusion_matrix(y_true, y_pred, labels=["ant", "bird", "cat"])
array([[2, 0, 0],
       [0, 0, 1],
       [1, 0, 2]])

Или вы вычисляете F1 балл метка за меткой 

from sklearn.metrics import f1_score
y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]
f1_score(y_true, y_pred, average=None)
...