Помогите мне скопировать данные на Amazon EC2 и запустить скрипт - PullRequest
Новая
       19

Помогите мне скопировать данные на Amazon EC2 и запустить скрипт

5 голосов
/ 17 июня 2010

Я новичок в том, что касается использования облачных вычислений, но я понимаю концепцию и довольно хорошо следую инструкциям. Я хотел бы сделать некоторые моделирования на моих данных, и каждый шаг занимает несколько минут. Учитывая иерархию в моих данных, это занимает несколько часов для каждого набора. Я бы хотел ускорить это, запустив его в облаке Amazon EC2.

После прочтения этого я знаю, как запустить AMI, подключиться к нему через оболочку и запустить R в командной строке.

Что мне нужно, так это возможность скопировать данные (файлы .rdata) и сценарий и просто получить их в командной строке R. Затем, как только все результаты будут записаны в новые файлы .rdata, я хотел бы скопировать их обратно на мой локальный компьютер.

Как мне это сделать?

Ответы [ 2 ]

3 голосов
/ 17 июня 2010

Я не знаю много о R, но я делаю подобные вещи с другими языками. То, что я предлагаю, вероятно, даст вам некоторые идеи.

  1. Настройка FTP-сервера на локальном компьютере.
  2. Создайте «скрипт запуска», который вы запускаете вместе с вашим экземпляром.
  3. Позвольте сценарию запуска загрузить файлы R с вашего локального компьютера, инициализировать R и выполнить вычисления, а затем загрузить новые файлы на ваш компьютер.

Скрипт запуска: 

#!/bin/bash
set -e -x
apt-get update && apt-get install curl + "any packages you need"
wget ftp://yourlocalmachine:21/r_files > /mnt/data_old.R
R CMD BATCH data_old.R -> /mnt/data_new.R
/usr/bin/curl -T /mnt/data_new.r -u user:pass ftp://yourlocalmachine:21/new_r_files

Запуск экземпляра с помощью сценария запуска 

ec2-run-instances --key KEYPAIR --user-data-file my_start_up_script ami-xxxxxx
1 голос
/ 10 августа 2010

первый идентификатор использовать amazon S3 для хранения файловкак с вашей локальной машины, так и обратно с экземпляракак уже говорилось ранее, вы можете создавать сценарии запуска или даже связывать свой собственный настроенный AMI со всеми необходимыми настройками и запускать свои экземпляры из негопоэтому загрузите файлы из корзины в S3, выполните и обработайте, наконец загрузите результаты обратно в ту же / другую корзину в S3если предположить, что данные малы (насколько большими могут быть скрипты), то цена / удобство использования S3 будут очень эффективными

...