Промежуточное программное обеспечение для параллельной обработки

Question

Для сравнительно крупнозернистой параллельной обработки (передача данных может выполняться в сети 100 Мбит Ethernet), какое промежуточное программное обеспечение, доступное для Windows и Linux, вы считаете лучшим? CORBA? MPI1? MPI2? XML-RPC / SOA / WSDL? Пользовательские сетевые протоколы? Java RPC? Python RPC? Другие

Answer 1

Вы спрашиваете о промежуточном программном обеспечении, но затем указываете серию протоколов обмена сообщениями. Если вы ищете протоколы обмена сообщениями, среда Thrift от Facebook определенно будет работать при очень высокой нагрузке и размере кластера:

Бережливость

Если вы ищете какой-либо другой компонент промежуточного программного обеспечения, уточните.

Answer 2

Или может быть Терракотовая ? Или может быть Hadoop ?

Answer 3

PVM был очень полезен для меня для небольшого (10 машин, 40 процессоров) кластера с переключателем GigE. Это было пару лет назад, но все еще должно быть жизнеспособным, хотя PVM, похоже, не развивается дальше. Я упоминаю это, чтобы добавить его к вам список кандидатов. Я подозреваю, что MPI будет более популярным выбором, но мне понравился PVM.