H2O randomForest производит удивительно большие POJO - PullRequest
Новая
       21

H2O randomForest производит удивительно большие POJO

0 голосов
/ 07 декабря 2018

Я использую древовидные модели и заметил большую разницу между GBM и randomForest с точки зрения того, как размер обучающего набора данных влияет на размер создаваемого POJO.

Я бы не сталожидать, что размер обучающего набора данных вообще очень сильно повлияет на размер модельного объекта, * и это почти верно для GBM.

Однако для randomForest, похоже, существует линейныйвзаимосвязь между количеством строк набора обучения и размером экспортированного POJO.Этот результат: 

Size of GBM with m =  1000 and p = 10: 0.15 MB (3281 lines)
Size of GBM with m =  1000 and p = 20: 0.16 MB (3501 lines)
Size of GBM with m = 10000 and p = 10: 0.18 MB (3833 lines)
Size of GBM with m = 10000 and p = 20: 0.19 MB (3899 lines)

Size of RF  with m =  1000 and p = 10:  4.38 MB ( 63908 lines)
Size of RF  with m =  1000 and p = 20:  4.40 MB ( 63606 lines)
Size of RF  with m = 10000 and p = 10: 45.84 MB (637168 lines) <- note 10x increase
Size of RF  with m = 10000 and p = 20: 46.08 MB (635059 lines)    on 10x training rows

получен из моего тестового сценария: 

library(data.table)
library(h2o)

pojo_path <- getwd() # your folder here

options("h2o.use.data.table"=TRUE)
h2o.init(max_mem_size = '8G')
h2o.no_progress()

m_range <- c(1e3,1e4)  # of rows
p_range <- c(10,20)    # of columns

for(p in p_range){
  for(m in m_range){
    # bunch of random data
    set.seed(1)
    mtrx <- matrix(runif(n=m*p), nrow=m, ncol=p)

    # some really random outcome
    set.seed(2)
    y = rowSums(t( t(mtrx)*runif(n=p) )) + rnorm(n=m,sd=0.1)

    dt   <- data.table( mtrx) 
    dt[, `:=`(y = y, id = .I)]
    setkey(dt,id)

    gbm_nm <- paste0('gbm_m_',m,'_p_',p)
    rf_nm <- paste0('rf_m_',m,'_p_',p)
    dt_h2o <- as.h2o(dt)


    gbm <- h2o.gbm(
             x = paste0('V',1:p),
             y = 'y',
             training_frame = dt_h2o,
             nfolds=10,
             model_id = gbm_nm
           )
    rf <- h2o.randomForest(
             x = paste0('V',1:p),
             y = 'y',
             training_frame = dt_h2o,
             nfolds=10,
             model_id = rf_nm
           )

    pojo_gbm_path <- file.path(pojo_path,h2o.download_pojo(gbm, path=pojo_path ) )
    writeLines(paste0('Size of GBM with m = ', m,
                      ' and p = ',p,': ',
                      round(file.info(pojo_gbm_path
                                      )$size/(2^20),2),
                      ' MB (',length(readLines(pojo_gbm_path)),
                      ' lines)'
                      )
    )
    pojo_rf_path <- file.path(pojo_path,h2o.download_pojo(rf, path=pojo_path))
    writeLines(paste0('Size of RF  with m = ', m,
                      ' and p = ',p,': ',
                      round(file.info(pojo_rf_path
                                      )$size/(2^20),2),
                      ' MB (',length(readLines(pojo_rf_path)),
                      ' lines)'
    )
    )
  }
}

Размер объектов randomForest становится чрезмерно большим в наборах данных, с которыми я работаю.

Почему это происходит?Это поведение присуще randomForest (поэтому решите, следует ли уменьшить выборку или использовать что-то еще), или я могу с этим что-то сделать?

[*] Я понимаю, что большее количество обучающих данных позволит больше расщеплений, если параметрыкак min_leaf_size являются обязательными.Но после определенного момента мы ожидаем, что их будет достаточно, и размер объекта перестанет расти.

[**] Я нахожусь на H2O v 3.20.0.8, версия R 3.5.1

1 Ответ

0 голосов
/ 07 декабря 2018

Попробуйте использовать меньшую глубину.Глубина по умолчанию в DRF намного больше, чем для GBM, и большая часть увеличения размера, вероятно, из-за этого.

Вы также можете использовать меньшее количество деревьев.

Переключение на MOJO приведет квероятно также уменьшите размер примерно в 10 раз.

...