Как сохранить состояние вычислений при использовании SNOW (или Multicore или ...)

Question

Из сложного опыта я нашел полезным иногда сохранять состояние моих длинных вычислений на диск, чтобы запускать их позже, если что-то не получается. Могу ли я сделать это в распределенном вычислительном пакете в R (например, SNOW или многоядерный)?
Неясно, как это можно сделать, поскольку мастер собирает вещи у рабов непрозрачным способом.

Answer 1

Это (опять :-) сложный вопрос.

Вы можете попытаться создать снимки на узлах, используя save() или save.image(). Затем вы можете попытаться реорганизовать свой код, чтобы узлы могли возобновить работу после последнего снимка.

Или вы можете попытаться реорганизовать свой рабочий процесс так, чтобы узлы «брали заявки» и возвращали результаты. Таким образом, центральный узел отслеживает все, и вы можете записывать промежуточные результаты там.

В любом случае, то, что вы хотите, не доступно из коробки (насколько я знаю).