Есть ли хороший способ отправки заданий в кластер с помощью bash?

Question

Есть ли хороший инструмент для этого на компьютере с Linux, использующий оболочку bash?Все, что мне нужно, это выполнить разные команды для набора узлов в кластере, и когда одна из них будет выполнена с заданием, я бы хотел отправить еще одну.Что-то очень похожее на то, что может сделать Hadoop.Мне было бы интересно узнать статус работы, но даже в противном случае все в порядке.Есть предложения?

Answer 1

Также есть парбаш (параллельный удар):

http://code.google.com/p/parbash/

Answer 2

Такие программы, как Sun Grid Engine и Mosix, позволят вам отправить все ваши работы сразу и автоматически распределят их нагрузку (это означает, что они будут помещены в очередь, так что на данном узле одновременно будет работать только нужное число).

У меня был хороший опыт в научных вычислениях (в Linux с bash), и я очень рекомендую.

Answer 3

Вы также можете использовать смонтированный раздел NFS / SMB и написать несколько сценариев самостоятельно.