idata.frame: Почему ошибка «is.data.frame (df) не является ИСТИННОЙ»? - PullRequest
Новая
       38

idata.frame: Почему ошибка «is.data.frame (df) не является ИСТИННОЙ»?

4 голосов
/ 20 октября 2010

Я работаю с большим фреймом данных, который называется exp ( file здесь ) в R. В интересах производительности было предложено проверить функцию idata.frame () из plyr. Но я думаю, что я использую это неправильно.

Мой оригинальный звонок, медленно, но работает: 

df.median<-ddply(exp, 
                 .(groupname,starttime,fPhase,fCycle), 
                 numcolwise(median), 
                 na.rm=TRUE)

С idata.frame, Error: is.data.frame(df) is not TRUE

library(plyr)
df.median<-ddply(idata.frame(exp), 
                 .(groupname,starttime,fPhase,fCycle), 
                 numcolwise(median), 
                 na.rm=TRUE)

Итак, я подумал, возможно, это мои данные. Поэтому я попробовал набор данных baseball. Пример idata.frame работает нормально: dlply(idata.frame(baseball), "id", nrow) Но если я попробую что-то похожее на мой желаемый вызов, используя baseball, он не будет работать: 

bb.median<-ddply(idata.frame(baseball), 
                 .(id,year,team), 
                 numcolwise(median), 
                 na.rm=TRUE)
>Error: is.data.frame(df) is not TRUE

Возможно, моя ошибка в том, как я указываю группировки? Кто-нибудь знает, как заставить мой пример работать?

ETA:

Я тоже пробовал: 

groupVars <- c("groupname","starttime","fPhase","fCycle")
voi<-c('inadist','smldist','lardist')

i<-idata.frame(exp)
ag.median <- aggregate(i[,voi], i[,groupVars], median)
Error in i[, voi] : object of type 'environment' is not subsettable

, который использует более быстрый способ получения медиан, но дает другую ошибку. Я не думаю, что понимаю, как использовать idata.frame.

Ответы [ 2 ]

1 голос
/ 10 сентября 2012

Учитывая, что вы работаете с «большими» данными и ищете производительность, это кажется идеальным для data.table.

В частности, аргументы lapply(.SD,FUN) и .SDcols с by

Настройка data.table

library(data.table)
DT <- as.data.table(exp)
iexp <- idata.frame(exp)

Какие столбцы numeric

numeric_columns <- names(which(unlist(lapply(DT, is.numeric))))



dt.median <- DT[, lapply(.SD, median), by = list(groupname, starttime, fPhase, 
    fCycle), .SDcols = numeric_columns]

некоторые тесты 

library(rbenchmark)
benchmark(data.table = DT[, lapply(.SD, median), by = list(groupname, starttime, 
    fPhase, fCycle), .SDcols = numeric_columns], 
 plyr = ddply(exp, .(groupname, starttime, fPhase, fCycle), numcolwise(median), na.rm = TRUE), 
 idataframe = ddply(exp, .(groupname, starttime, fPhase, fCycle), function(x) data.frame(inadist = median(x$inadist), 
        smldist = median(x$smldist), lardist = median(x$lardist), inadur = median(x$inadur), 
        smldur = median(x$smldur), lardur = median(x$lardur), emptyct = median(x$emptyct), 
        entct = median(x$entct), inact = median(x$inact), smlct = median(x$smlct), 
        larct = median(x$larct), na.rm = TRUE)), 
 aggregate = aggregate(exp[, numeric_columns],
                       exp[, c("groupname", "starttime", "fPhase", "fCycle")], 
              median), 
 replications = 5)

##         test replications elapsed relative user.self 
## 4  aggregate            5    5.42    1.789      5.30   
## 1 data.table            5    3.03    1.000      3.03    
## 3 idataframe            5   11.81    3.898     11.77       
## 2       plyr            5    9.47    3.125      9.45
0 голосов
/ 21 октября 2010

Странное поведение, но даже в документах написано, что idata.frame является экспериментальным. Вы, вероятно, нашли ошибку. Возможно, вы могли бы переписать проверку в верхней части ddply, которая проверяет is.data.frame ().

В любом случае это сокращает время на 20% (в моей системе): 

system.time(df.median<-ddply(exp, .(groupname,starttime,fPhase,fCycle), function(x) data.frame(
inadist=median(x$inadist),
smldist=median(x$smldist),
lardist=median(x$lardist),
inadur=median(x$inadur),
smldur=median(x$smldur),
lardur=median(x$lardur),
emptyct=median(x$emptyct),
entct=median(x$entct),
inact=median(x$inact),
smlct=median(x$smlct),
larct=median(x$larct),
na.rm=TRUE))
)

Шейн спросил вас в другом посте, можете ли вы кешировать результаты вашего скрипта. На самом деле я не имею представления о вашем рабочем процессе, но может быть лучше настроить хрон для его запуска и сохранения результатов, ежедневно / ежечасно.

...