Мониторинг хода выполнения / отладки скриптов Parallel R - PullRequest
11 голосов
/ 27 января 2010

Среди вариантов, которые я имею для быстрого распараллеливания простого кода ( снегопад , foreach и и т. Д. ), каковы мои варианты отображения прогресса все рабские процессы? Превосходят ли какие-либо предложения в этом отношении?

Я видел, что снегопад 1.70 имеет sfCat(), но, похоже, он не выводится на сеанс master R.

1 Ответ

6 голосов
/ 27 января 2010

Вот где это может превратиться в черное искусство ... Я заметил, что вы не указали MPI или PVM - у этих старых рабочих лошадок параллельных вычислений действительно есть мониторы. Вы можете найти решение, выйдя за пределы R и полагаясь на планировщики заданий (обломки, крутящий момент, ...)

Если вы не можете этого сделать (и, эй, есть причины, по которым нам нравится простота снега, foreach, ...), то, возможно, вы можете изменить свою работу, чтобы регистрировать «пульс» или сообщение о прогрессе каждые N шагов , Вы можете войти в текстовые файлы (если у вас есть общий ресурс NFS или SMB / CIFS), войти в базу данных или, черт возьми, отправить твит с R . Скорее всего, это будет характерно для вашего приложения, и да, это будет иметь определенную стоимость.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...