У меня есть следующий код, который вычисляет точность / отзыв и оценку F1 для моей модели, которая определяет ключевые слова в документе:
from sklearn.metrics import classification_report
y_true = ['apple', 'orange', 'kiwi', 'pineapple', 'watermelon']
y_predicted = ['apple', 'orange', 'pear', 'mango', 'watermelon']
print(classification_report(y_true, y_predicted))
Как и в этом случае, слова выровнены друг относительно друга, яМожно рассчитать оценку F1 для этого.
Однако, что если моя модель не знает, в каком порядке разместить слова?Например, если я размещу их следующим образом:
from sklearn.metrics import classification_report
y_true = ['apple', 'orange', 'kiwi', 'pineapple', 'watermelon']
y_predicted = ['orange', 'apple', 'pear', 'watermelon', 'mango']
print(classification_report(y_true, y_predicted))
Я получу оценку zero для всех ключевых слов, даже если модель правильно определила 3 из 5.
знаете, есть ли настройка, которую я могу сделать для этой метрики в sklearn, чтобы ее не волновал порядок сопоставляемых элементов (и их количество в этом отношении)?
Или, может быть, я мог бы использовать другую метрику?