Самый простой способ раскрутить кластер Amazon EC2 для использования в качестве бэкэнда foreach

Question

Я хочу запустить кластер машины amazon EC2 для использования бэкенда для пакета foreach в R. В идеале, я мог бы сделать все это из командной строки в R на моей локальной машине, посылая соответствующие данные и командыот локального сеанса R до удаленного кластера.

Я знаю, что пакет AWS поможет с этой задачей, но я не знаю, что делать после запуска startCluster() команда.Segue также помогает мне в этом, но это не бэкэнд для foreach, он не поддерживает пользовательские AMI и в настоящее время не поддерживает окна.Существует также пакет deathstar , который я не изучал подробно.

Кто-нибудь еще придумал решение этой проблемы?

Answer 1

Зак, простой ответ заключается в том, что отсюда нет простого пути:)

Когда я писал Segue, я надеялся, что кто-то скоро выпустит что-то, что сделает Segue устаревшим.Облачные числа могут быть одним днем, но, вероятно, еще нет.Я пытался сделать Segue бэкэндом foreach, но поскольку я не использую его таким образом, моя мотивация была довольно низкой, чтобы найти время, чтобы научиться создавать бэкэнд.

Одной из наиболее многообещающих вещей, на мой взгляд, является использование пакета doRedis() с работниками на Amazon EC2.doRedis использует сервер Redis в качестве контроллера заданий, а затем позволяет работникам подключаться к серверу Redis и получать / возвращать задания и результаты.Некоторое время я думал, что было бы неплохо иметь очень простой способ развертывания кластера doRedis на EC2.Но никто еще не написал тот, о котором я знаю.

Answer 2

Похоже, что у bioconductr есть удобный инструмент для раскрутки кластера MPI.После запуска вы можете запустить mpi.spawn.Rslaves() и mpi.parLapply на главном узле для передачи вычислений в кластер.Однако я не могу понять, как заставить его работать с doMPI.