Возможно, я запутался в выполнении этих вычислений, поэтому я был бы очень признателен за отклик от свежего взгляда.
У меня результат 1/0 (давайте просто назовем его неисправными единицами в соответствии сруководство, которое я прочитал по этому вопросу).
27 единиц неисправны и 76 единиц работают правильно.
Метод 1
Дает прогноз 1/0 и правильно определяет 4 единицы как дефект ипредсказывает, что все остальные устройства работают.
Метод 2
Дает оценку в процентах.В среднем он оценивает рабочие единицы как 0,5, а неисправные единицы - как 0,3.
Если я нанесу ROC и сопоставлю AUC, кажется, что метод 2 явно превосходит: 
Но когда я называю матрицу путаницы, кажется, что первый метод намного лучше, чем указано на графике:
Accuracy : 0.7767
95% CI : (0.684, 0.8529)
No Information Rate : 0.9612
P-Value [Acc > NIR] : 1
Kappa : 0.2042
Mcnemar's Test P-Value : 4.49e-06
Sensitivity : 1.00000
Specificity : 0.76768
В то время как матрица путаницы установлена для порога 0,35 (середина двух средних) делает метод 2 кажущимся относительно плохим
Accuracy : 0.699
95% CI : (0.6008, 0.7855)
No Information Rate : 0.6699
P-Value [Acc > NIR] : 0.3033
Kappa : 0.282
Mcnemar's Test P-Value : 0.2812
Sensitivity : 0.4412
Specificity : 0.8261
Я немного не уверен, какой метод рекомендовать и делаю ли я что-то не так в приведенных выше сравнениях?Код для воспроизведения доступен здесь .
Спасибо, что прочитали мой пост, и все отзывы более чем приветствуются.