Классификация отчета в науке учиться

Question

Я хочу классифицировать неисправности и условия отсутствия неисправностей для устройства. Метка A для ошибки и метка B для ошибки.

scikit-learn дает мне отчет для классификационной матрицы как:

        precision    recall   f1-score   support
A       0.82         0.18     0.30       2565
B       0.96         1.00     0.98       45100

Теперь какой из результатов A или B я должен использовать дляуказать модель операции?

Answer 1

Введение

Нет единой оценки, которая может универсально описать модель, все зависит от вашей цели. В вашем случае вы имеете дело с обнаружением неисправностей, поэтому вы заинтересованы в поиске неисправностей среди гораздо большего числа случаев неисправностей. Та же логика применима, например, к популяции и обнаружению лиц, несущих патоген.

В таких случаях, как правило, очень важно иметь высокий отзыв (также известный как чувствительность) для случаев "неисправности" (или, например, что вы можете заболеть). При таком скрининге обычно нормально диагностировать «ошибку», что на самом деле работает нормально - это ваш ложный положительный результат. Почему? Потому что стоимость пропуска неисправной детали в двигателе или опухоли намного больше, чем запросить инженера или врача для подтверждения случая.

Решение

Предполагая, что это предположение (отзыв на неисправности наиболееважная метрика) в вашем случае, то вы должны смотреть на вспомнить для метки A (неисправности). По этим стандартам ваша модель работает довольно плохо: она обнаруживает только 18% неисправностей. Вероятно, многое связано с тем фактом, что число ошибок примерно в 20 раз меньше, чем у ошибок, что приводит к сильному смещению (которое необходимо устранить).

Я могу вспомнить количество сценариев, в которых этот показатель не был бы на самом делеПлохо. Если вы можете обнаружить 18% всех неисправностей в двигателе (поверх других систем) и не вводить ложные тревоги, это может быть очень полезно - вы не хотите слишком часто запускать пожарную сигнализацию для водителя, когда все в порядке. В то же время, скорее всего, вы не хотите использовать ту же логику, например, для выявления рака и сказать пациенту «все в порядке», в то время как существует очень высокий риск того, что диагноз неверен.

Метрики

Ради полноты я объясню термины. Рассмотрим следующие определения:

• tp - истинно положительный (реальная ошибка)
• tn - истинно отрицательный (это неошибка)
• fp - ложное срабатывание (обнаружена ошибка, пока она в порядке)
• fn - ложное отрицание (обнаружена, если ошибка)

Здесь - одна статья, которая пытается красиво объяснить, что такое точность, вспомнить и F1.