Ошибка read.csv.fdff: невозможно выделить вектор размером 6607642,0 Гб

Question

Мне нужно прочитать CSV-файл объемом 4,5 ГБ в RStudio, и для преодоления проблемы с памятью я использую функцию read.ffdf из пакета ff. Тем не менее, я все еще получаю сообщение об ошибке, что данные слишком велики

Ошибка: невозможно выделить вектор размером 6607642,0 Гб

и я не могу понять, почему. Буду очень признателен за любую помощь!

options(fftempdir="C:/Users/Documents/")

CRSPDailyff <- read.csv.ffdf(file="CRSP_Daily_Stock_Returns_1995-2015.csv")

Answer 1

Я подозреваю, что вы могли бы преодолеть это ограничение, используя аргумент next.rows.

Пожалуйста, попробуйте:

options(fftempdir="C:/Users/Documents/")

CRSPDailyff <- 
read.csv.ffdf(file="CRSP_Daily_Stock_Returns_1995-2015.csv", next.rows = 100000)

Поэкспериментируйте с другими значениями для next.rows, я лично использую 500000 на машине 4 ГБ здесь, в кампусе.

Совет от других комментаторов использовать