Невозможно выделить доступную память в AWS Rstudio - PullRequest
Новая
       29

Невозможно выделить доступную память в AWS Rstudio

0 голосов
/ 09 июня 2018

Я использую AWS R studio, чтобы прочитать 35-гигабайтный CSV-файл из S3 и выполнить анализ.Я выбираю машину с m4.4xlarge с 62 ГБ памяти, но я продолжаю получать следующее сообщение при чтении данных перед выполнением любого анализа: «Ошибка: невозможно выделить вектор размером 33.0 ГБ».Код, который я использовал: 

library("aws.s3")
Sys.setenv("AWS_ACCESS_KEY_ID" = "xxxxxxx",
       "AWS_SECRET_ACCESS_KEY" = "yyyyyyy")
obj <-get_object("s3://xxx/yyy.csv")

Когда я использовал следующий код, 

aws.s3::s3read_using(read.csv, object=“"s3://xxx/yyyy.csv”)

Сообщение об ошибке:

полученное сообщение об ошибке было ниже:

Error in curl::curl_fetch_disk(url, x$path, handle = handle) : 
Failed writing body (4400 != 16360)

Я не знаком с Linux, и я использовал AMI Луи Аслетта (http://www.louisaslett.com/RStudio_AMI/). Есть что-нибудь, что я должен изменить? Спасибо!

Я подозреваю, что вопросотносится к следующим двум вопросам, но четкого ответа не было.

Чтение больших файлов JSON из S3 в экземпляре RStudio EC2 (AMI Луи Аслетта)

Проблемы с загрузкой больших файлов в RStudio с использованием AMI Луи Аслетта на EC2

...