Какой самый простой способ распараллеливания в кластере с SSH и NFS? - PullRequest
2 голосов
/ 26 октября 2010

У меня есть много тривиально распараллеливаемых вычислений и много (100) ядер, распределенных по сети SSH + NFS. Какой самый простой способ распараллеливания. Проблема в том, что я не знаю, сколько времени займет каждая задача, поэтому мне нужна какая-то очередь. Есть ли что-то очень простое в использовании?

Ответы [ 2 ]

1 голос
/ 26 октября 2010

Вы также можете взглянуть на mpssh & autossh.

http://www.mynitor.com/2010/08/16/top-50-ssh-helper-tools-omg/

1 голос
/ 26 октября 2010

Mincemeat.py - это облегченная реализация MapReduce на Python, предназначенная именно для этой цели.Нет простого способа запустить все процессы (если только у вас нет чего-то вроде Condor в кластере), но в остальном он должен соответствовать вашим потребностям.

...