Расчет AUC обучающего набора данных для функции glm в R - PullRequest
Новая
       36

Расчет AUC обучающего набора данных для функции glm в R

0 голосов
/ 09 июня 2019

Я пытаюсь найти AUC на данных обучения для моей модели логистической регрессии, используя glm

Я разделяю данные для обучения и тестирования набора, подгоняю регрессионную модель модели логистической регрессии с использованием glm, вычисляемого прогнозируемого значения и пытаюсьнайти AUC 

d<-read.csv(file.choose(), header=T)
 set.seed(12345)
 train = runif(nrow(d))<.5
 table(train)
 fit = glm(y~ ., binomial, d)
 phat<-predict(fit,type = 'response')
 d$phat=phat
 g <- roc(y ~ phat, data = d, print.auc=T)
 plot(g)

Ответы [ 2 ]

0 голосов
/ 10 июня 2019

Другой удобный для пользователя вариант - использовать библиотеку caret, что делает его довольно простым для подгонки и сравнения моделей регрессии / классификации в R. В следующем примере кода используется набор данных GermanCredit для прогнозирования кредитоспособности с использованием логистики.регрессионная модель.Код адаптирован из этого блога: https://www.r -bloggers.com / Assessment-Logistic-Regression-models / . 

library(caret)

## example from https://www.r-bloggers.com/evaluating-logistic-regression-models/
data(GermanCredit)

## 60% training / 40% test data
trainIndex <- createDataPartition(GermanCredit$Class, p = 0.6, list = FALSE)

GermanCreditTrain <- GermanCredit[trainIndex, ]
GermanCreditTest <- GermanCredit[-trainIndex, ]

## logistic regression based on 10-fold cross-validation 
trainControl <- trainControl(
     method = "cv",
     number = 10,
     classProbs = TRUE,
     summaryFunction = twoClassSummary
)

fit <- train(
    form = Class ~ Age + ForeignWorker + Property.RealEstate + Housing.Own + 
         CreditHistory.Critical,  
    data = GermanCreditTrain,
    trControl = trainControl,
    method = "glm", 
    family = "binomial", 
    metric = "ROC"
)

## AUC ROC for training data
print(fit)

## AUC ROC for test data
## See https://topepo.github.io/caret/measuring-performance.html#measures-for-class-probabilities
 predictTest <- data.frame(
         obs = GermanCreditTest$Class,                                    ## observed class labels
         predict(fit, newdata = GermanCreditTest, type = "prob"),         ## predicted class probabilities
         pred = predict(fit, newdata = GermanCreditTest, type = "raw")    ## predicted class labels
     ) 

twoClassSummary(data = predictTest, lev = levels(predictTest$obs))
0 голосов
/ 09 июня 2019

Мне нравится использовать команду performance, найденную в библиотеке ROCR. 

library(ROCR)
# responsev = response variable

d.prediction<-prediction(predict(fit, type="response"), train$responsev)
d.performance<-performance(d.prediction,measure = "tpr",x.measure="fpr")
d.test.prediction<-prediction(predict(fit,newdata=d.test, type="response"), d.test$DNF)
d.test.prefermance<-performance(d.test.prediction, measure="tpr", x.measure="fpr")

# What is the actual numeric performance of our model?
performance(d.prediction,measure="auc")
performance(d.test.prediction,measure="auc")
...