Как pROC обрабатывает многоуровневые факторные метки?

Question

Я рассчитываю AUC модели в R. Модель была обучена предсказывать двухуровневый фактор (хорошо / плохо). Он был применен к данным, которые имеют трехуровневый результат (хороший / плохой / отсутствующий). Я в порядке с оценочной частью. Я получаю вероятность на основе набора предикторов для каждого наблюдения.

Часть, которую я не понимаю, это то, что происходит, когда я вычисляю AUC, используя roc(data$label, data$score), потому что теперь roc$label имеет 3 уровня (хороший / плохой / отсутствующий), но оценка была обработана на данных, которыебыло только 2 уровня (хорошо / плохо). Новый уровень игнорируется? Должен ли я исключить все такие наблюдения вручную из данных, чтобы получить точную меру AUC?

data <- structure(list(label = structure(c(2L, 2L, 2L, 2L, 2L, 2L, 2L, 
2L, 1L, 2L, 2L, 3L, 2L, 2L, 2L, 2L, 1L, 2L, 1L, 2L), .Label = c("missing", 
"good", "bad"), class = "factor"), score = c(0.151147571051044, 
0.0411329810171418, 0.0688491931089625, 0.0457818202643564, 0.0411038297454905, 
0.0652004019004794, 0.105964115208592, 0.0538514549969684, 0.0415476305130247, 
0.0533831523731155, 0.0639788335617257, 0.0434341986489527, 0.0520826001358534, 
0.0642210548642832, 0.0536219837901353, 0.0415821872079014, 0.0416555537422, 
0.0491937562992912, 0.0469082976746886, 0.0538194884632293)), row.names = c(NA, 
-20L), class = c("tbl_df", "tbl", "data.frame"))

roc(data$label, data$score)

Answer 1

Если у вас нет особо старой версии pROC или у вас есть что-то, заставляющее глушить диагностические сообщения, оно должно сообщать вам, что оно делает:

> roc(data$label, data$score)
Setting levels: control = missing, case = good
Setting direction: controls < cases

Как вы можете видеть, оно использует «пропущенный»класс как контроль или отрицательный класс.

Он продолжает показывать вам, какие данные были использованы:

[...]
Data: data$score in 3 controls (data$label missing) < 16 cases (data$label good).

Снова вы можете заметить, что он использует «отсутствующую» метку в качестве элемента управления.

Наконец, он даетвам подсказка, как решить проблему:

[...]
Warning message:
In roc.default(data$label, data$score) :
  'response' has more than two levels. Consider setting 'levels' explicitly or using 'multiclass.roc' instead

В вашем случае проще всего установить аргумент levels, как это было предложено:

> roc(data$label, data$score, levels=c("good", "bad"))
Setting direction: controls > cases

Call:
roc.default(response = data$label, predictor = data$score, levels = c("good",     "bad"))

Data: data$score in 16 controls (data$label good) > 1 cases (data$label bad).
Area under the curve: 0.8125

Теперь он правильно использует добро/ плохие уровни, как вы и просили.

И последнее: обратите внимание, что pROC по-прежнему автоматически устанавливает направление:

Setting direction: controls > cases

Вы должны убедиться, что это соответствует направлению (независимо от того, положительные случаивыше или ниже, чем отрицательные значения), полученные вами на тренировочных данных.

train.roc <- roc(train.data$label, train.data$score, levels=c("good", "bad"))
roc(data$label, data$score, levels=c("good", "bad"), direction=train.roc$direction)

Если этого не сделать, вы можете внести некоторую погрешность в свои AUC, и вы можете подумать, что ваш предиктор работает великолепно, когда это не так.

Как правило, вы хотите установить аргументы levels и direction явно, когда это возможно. если направление между тренировками и тестированием меняется на противоположное.

Answer 2

Категория missing является одним из 3 уровней фактора data$label.
Вы можете установить missing на фактическое отсутствие, а затем сбросить этот уровень:

library(pROC)
# Set 'missing' to a real missing
data$label[data$label=="missing"] <- NA
# Drop 'missing' levels from 'label' factor
data$label <- droplevels(data$label)
# ROC estimation
roc(data$label, data$score)

Вывод:

Setting levels: control = good, case = bad
Setting direction: controls > cases

Call:
roc.default(response = data$label, predictor = data$score)

Data: data$score in 16 controls (data$label good) > 1 cases (data$label bad).
Area under the curve: 0.8125