Передача параметров в параллельные задания R

Question

Я пытаюсь запустить параллельные задания R с помощью пакета multicore .Каждая работа - это выполнение одного и того же script.R с разными аргументами.

Общая идея состоит в том, чтобы определить функцию, которая принимает аргументы и затем вызывает source("script.R").Проблема в том, что я не могу передать аргументы script.R.Поскольку я работаю параллельно, аргументы не могут быть определены в глобальной области видимости.

Любая помощь приветствуется.

Answer 1

Для параллельных экземпляров R, которые могут быть даже на разных узлах / компьютерах, использование внешней базы данных для хранения параметров может быть хорошим вариантом.

Я бы использовал redis , поскольку он чрезвычайнобыстрый и полностью доступный в R , а для параллельного запуска его брат: doredis .

Таким образом, вы можете иметь сервер Redis (или даже реплицированную, подчиненную базу данныхкаждый хост), который может быть выбран для параметров.Вы можете мгновенно обновлять параметры даже из-за пределов R, доступные всем работникам, и легко добавлять новых работников для задачи с помощью doredis.