В R какие пакеты для быстрой загрузки больших данных - PullRequest
3 голосов
/ 24 февраля 2012

В R обычно данные загружаются в ОЗУ.Есть ли пакеты, которые загружают данные на диск, а не в ОЗУ

Ответы [ 2 ]

8 голосов
/ 24 февраля 2012

Проверьте пакет bigmemory вместе со связанными пакетами, такими как bigtabulate, bigalgebra, biganalytics и т. Д. Также есть ff, хотя я не нахожу его таким удобным для пользователя, как bigmemory. Как сообщается, набор bigmemory был частично мотивирован трудностью использования ff. Мне это нравится, потому что для доступа к объекту bigmatrix требовалось очень мало изменений в моем коде: с ним можно работать почти так же, как со стандартной матрицей, поэтому мой код очень многократно используется.

Также имеется поддержка HDF5 через NetCDF4 в таких пакетах, как RNetCDF и ncdf. Это популярный, мультиплатформенный, многоязычный метод для эффективного хранения и доступа к большим наборам данных.

Если вам нужны базовые функции отображения памяти, посмотрите на пакет mmap.

3 голосов
/ 24 февраля 2012

Да, пакет ff может сделать это.

Возможно, вы захотите взглянуть на Представление задач для высокопроизводительных вычислений для получения более подробной информации.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...