Проверьте пакет bigmemory
вместе со связанными пакетами, такими как bigtabulate
, bigalgebra
, biganalytics
и т. Д. Также есть ff
, хотя я не нахожу его таким удобным для пользователя, как bigmemory
. Как сообщается, набор bigmemory
был частично мотивирован трудностью использования ff
. Мне это нравится, потому что для доступа к объекту bigmatrix
требовалось очень мало изменений в моем коде: с ним можно работать почти так же, как со стандартной матрицей, поэтому мой код очень многократно используется.
Также имеется поддержка HDF5 через NetCDF4 в таких пакетах, как RNetCDF
и ncdf
. Это популярный, мультиплатформенный, многоязычный метод для эффективного хранения и доступа к большим наборам данных.
Если вам нужны базовые функции отображения памяти, посмотрите на пакет mmap
.