Я запускаю R-код на Rstudio, установленном на сервере Linux
Я запускаю его локально, и он не занимает много памяти.
Однако, когда я запускаю его на сервере, это заняло много места подкачки (почти занимают 100%)
база данных, которую я пытался получить, большая, но не невероятно большая, это как 2,5 Г, если я получу ее полностью.
Код использует DBI, rJava и некоторые другие пакеты для подключения к базе данных и получения таблицы.
library(DBI)
library(rJava)
library(RJDBC)
cp = c(list.files("~/libs2",pattern="jar$",full.names=T))
.jinit(classpath<-cp)
drv <- JDBC("com.cloudera.impala.jdbc4.Driver", "~/ImpalaJDBC4.jar")
connection <- dbConnect(drv, "jdbc:impala://***.***.***.***:*****/***", "", "") #sorry I can't put the parameter here, that is my company's database
Но пространство подкачки само по себе равно 8 ГБ, а память сервера равна 128 Г *
Я могу выполнить этот код локально и без проблем получить весь набор данных, а моя локальная память составляет всего 8 G.
Есть идеи?