Каков наилучший вариант в Amazon AWS для параллельного запуска кода R, который был разработан для менеджера Slurm?

Question

В настоящее время у меня есть R-код, который можно запустить через менеджер Slurm с помощью командного сценария и оболочки.По сути, мой сценарий оболочки создает 1000 массивов заданий, которые затем вызывают пакетный сценарий 1000 раз.

Мне интересно, как я могу воспользоваться этой настройкой и какой может быть наиболее эффективный способ передачи ее в Amazon AWS.Если нет, то каков наиболее эффективный способ в Amazon AWS запускать R-скрипт несколько раз и использовать как можно больше ядер?Является ли сервер RStudio хорошим вариантом?

Буду признателен за любые предложения.Спасибо!

Answer 1

StarCluster может быть хорошим выбором:

StarCluster - это набор инструментов для кластерных вычислений с открытым исходным кодом для Amazon Elastic Compute Cloud (EC2)

Он является частьюПрограмма STAR в Массачусетском технологическом институте, целью которой является преодоление разрыва между научными исследованиями и классной комнатой

. Вы можете легко развернуть кластер любого размера и состоять из экземпляров по вашему выбору.NFS, MPI и менеджер ресурсов OpenGrid будут работать "из коробки".Вы также можете установить SLURM в кластере.С помощью одной команды вы можете загрузить или отключить кластер.

Простые команды для создания и управления кластерами: следует :

* Создание и управлениеКластеры *

StarCluster позволяет легко создавать один или несколько кластеров виртуальных машин в облаке:

$ starcluster start -s 10 mycluster

Используйте команду listclusters дляСледите за своими кластерами:

$ starcluster listclusters

Войдите в главный узел своего кластера:

$ starcluster sshmaster mycluster

Добавьте дополнительные узлы вваш кластер для большей вычислительной мощности:

$ starcluster addnode mycluster

Удалите незанятые узлы из вашего кластера, чтобы минимизировать затраты:

$ starcluster removenode mycluster node003

Когда вы закончите использовать кластер и захотите прекратить платить за него:

$ starcluster прекратить mycluster