В настоящее время я работаю с набором данных приблизительно из 4 миллионов точек данных. Я использую R в Rstudio на MacBook Pro (32 ГБ оперативной памяти, 2,2 ГГц Intel Core i7, 155 доступной памяти на жестком диске).
Моя цель - выполнить нелинейную регрессию со смешанным эффектом для данных. данные имеют два случайных эффекта, которые являются вложенными, и модели требуются различные наклоны, а также перехваты.
Мой код для этой модели:
model <- lmer(DV ~ I(IVr^2) + IV + (IV | group/episode), data = data, REML=FALSE)
Однако при запуске модели процесс занимает до 42 ГБ ОЗУ до сбоя. Лог это:
Vector memory exhausted (limit reached?)
Я хочу каким-то образом манипулировать R, чтобы он мог работать медленнее, но использовать мою доступную память жесткого диска, чтобы он мог справиться с этим запуском. Наиболее близким решением, которое я нашел, является пакет biglm в R, однако я не могу найти эквивалент для lmer (). Я также не могу найти много о манипулировании пространством подкачки на Mac. Любые решения проблемы приветствуются.
В качестве альтернативы, я говорю на python, поэтому было бы неплохо использовать вместо этого решение на python. (то есть модуль, который может обрабатывать полиномиальные модели со смешанными эффектами, и модуль для решения проблемы с памятью)