«Ошибка нехватки памяти (Java)» при использовании пакета R и XLConnect

Question

Я попытался загрузить электронную таблицу Excel размером ~ 30 МБ в R с помощью пакета XLConnect.

Вот что я написал:

wb <- loadWorkbook("largespreadsheet.xlsx")

И примерно через 15 секунд я получил следующую ошибку:

Ошибка: OutOfMemoryError (Java): GCпревышен лимит накладных расходов.

Это ограничение пакета XLConnect или есть способ настроить мои параметры памяти, чтобы разрешить файлы большего размера?

Я ценю любые решения / советы / советы.

Answer 1

Следуйте советам с их сайта :

options(java.parameters = "-Xmx1024m")
library(XLConnect)

Answer 2

Если у вас все еще есть проблемы с импортом файлов XLSX, вы можете использовать эту опцию.Anwser с "Xmx1024m" не работал, и я изменил на "-Xmx4g".

options(java.parameters = "-Xmx4g" )
library(XLConnect)

Эта ссылка была полезной.

Answer 3

Используйте read.xlsx() в пакете openxlsx . Он не зависит от rJava, поэтому имеет ограничения по памяти только для самого R. Я не очень подробно исследовал написание и форматирование XLSX, но у него есть многообещающие виньетки. Для чтения больших таблиц это хорошо работает.

Шляпный наконечник @ Брэд-Хорну. Я только что превратил его комментарий как ответ, потому что я также нашел, что это лучшее решение!

Answer 4

В случае, если кто-то сталкивается с этой ошибкой при чтении не одного огромного, а многих файлов, мне удалось устранить эту ошибку, освободив память виртуальной машины Java с помощью xlcFreeMemory(), таким образом:

files <- list.files(path, pattern = "*.xlsx")
for (i in seq_along(files)) {
    wb <- loadWorkbook(...)
    ...
    rm(wb)
    xlcFreeMemory()  # <= free Java Virtual Machine memory !
}

Answer 5

Это похоже на случай, когда вы продолжаете использовать один и тот же R-сеанс снова и снова без перезапуска R-Studio.Перезапуск R-Studio может помочь выделить новую кучу памяти для программы.У меня это сработало сразу.

Answer 6

Как указано в этом здесь , обязательно запустите функцию option в первой строке вашего кода.В моем случае это сработало только тогда, когда я перезапустил сеанс R и запустил его в первой строке.

options(java.parameters = "-Xmx4g" )
library(XLConnect)

Answer 7

Всякий раз, когда вы используете библиотеку, основанную на rJava (например, RWeka в моем случае), вы обязательно попадете в пространство кучи по умолчанию (512 МБ) однажды.Теперь, когда вы используете Java, мы все знаем, какой аргумент JVM нужно использовать (-Xmx2048m, если вы хотите 2 гигабайта оперативной памяти).Здесь вопрос только в том, как указать его в среде R.

   options(java.parameters = "-Xmx2048m")
   library(rJava)