Я имею дело с проблемой использования 1000 x 1000 x 1000
массивов в R
. Каждый из этих массивов занимает 7.6 Gb
при хранении в качестве стандартных объектов массива. Я хочу быть в состоянии сделать расчет с использованием двух из этих массивов, чтобы сгенерировать объект намного меньшего размера.
Использование 64-bit R
мой компьютер имеет достаточно памяти для создания и сохранения одного массива такого размера за раз, поэтому мне удалось сохранить оба массива в виде rmd
файлов на жестком диске. Однако, когда я пытаюсь загрузить оба этих массива в одном сеансе, чтобы выполнить вычисление, использующее оба из них, вторая загрузка приводит к проблемам с памятью (то есть, Error: Cannot allocate vector of size...
).
Вопрос: Какой самый простой / лучший способ справиться с проблемами памяти, возникающими, когда вы хотите использовать два объекта такого типа, которые достаточно малы, чтобы загружаться по отдельности, но слишком велики, чтобы быть загружается вместе?