Пример большой памяти и друзей с файловой поддержкой

Question

Меня интересует, как R может обрабатывать данные вне памяти.Я нашел пакет bigmemory и его друзей (bigtabulate и biganalytics), но надеялся, что кто-то может указать мне на разработанный пример, который использует файловую поддержку этих пакетов.Любые другие советы нехватки памяти также приветствуются.

Answer 1

Чарли, просто напишите Майк и Джей , у них есть несколько примеров работы с примером базы данных рейсов ASA за год или два назад.* Редактировать: На самом деле, вкладка Документация имеет то, что я имел в виду;скрипты тоже есть на сайте.

Answer 2

Взгляните на « CRAN Task View: высокопроизводительные и параллельные вычисления с R ». В главе «Большие объемы памяти и нехватка памяти» упоминается несколько решений. Например, пакет ff.

Answer 3

Также приветствуются любые другие подсказки нехватки памяти.

Я часто работаю с большими наборами данных. Несмотря на то, что мой код был оптимизирован, я все еще время от времени запускаю экземпляры Amazon EC2, потому что это дает мне доступ к гораздо большему количеству ресурсов, чем на моем столе. Например, экземпляр с 26 ECU, 8 ядрами и 68 гигабайтами оперативной памяти стоит всего около 0,80–1,00 долл. В час (спотовая цена).

Если это кажется разумным, вы можете запустить образ общедоступного компьютера, на котором уже есть R, и выполнить эту работу в кратчайшие сроки.