У меня есть компьютер с 31 процессором для параллельных вычислений. Я хотел бы создать один кластер из 31 узла, который затем служил бы для параллельных вычислений нескольким различным процессам R. Как это можно сделать?
В настоящее время я использую makeCluster таким образом:
cl <- makeCluster(5)
registerDoParallel(cl)
, но это будет служить только текущему процессу R. Как я могу подключиться к кластеру, созданному в другом процессе R?
PS: причина, по которой я хочу, чтобы несколько процессов обращались к одному кластеру, заключается в том, что я хочу постоянно добавлять новые наборы вычислений, которые будут ожидать в очередь для запущенных процессов до конечной sh. Я надеюсь, что это будет работать таким образом? Я использовал doRedis для этого в прошлом, но были некоторые проблемы, и я хотел бы использовать простой кластер для этой цели.