Параллельные вычисления с кластерами, отличными от снежного SOCK - PullRequest
18 голосов
/ 07 декабря 2011

Недавнее добавление прямой поддержки параллельных вычислений в R2.14 вызвало у меня вопрос.Существует множество вариантов создания кластеров в R. Я регулярно использую кластеры snow SOCK, но я знаю, что есть и другие способы, такие как MPI.Я использую кластеры SOCK snow, потому что мне не нужно устанавливать дополнительное программное обеспечение (я использую Fedora 13).

Итак, мои конкретные вопросы:

  1. Есть ли прирост производительности при использовании кластеров не-SOCK?
  2. Легче ли создавать кластеры на нескольких компьютерах с использованием кластеров не-SOCK?

1 Ответ

8 голосов
/ 07 декабря 2011

1) имеется ограниченное количество доступных тестов, которые доказывают, что MPI будет быстрее, чем SOCKets.Но как пользователь R вы, вероятно, не будете заботиться об этих различиях.Они находятся в миллисекундах, и количество сообщений не так велико при смущающих параллельных проблемах

2) Да, вам не нужно предоставлять список имен компьютеров или IP-адресов.Для компьютерного кластера с 100 узлами это становится сложным.Но все зависит от вашего компьютерного кластера.В большинстве случаев MPI или PVM уже предустановлены, и все работает из коробки, используя Rmpi, ...

...