Я потратил некоторое время на Google в поисках пакета организации очередей / балансировки нагрузки для R.
Чего я пытаюсь достичь:
- выполнение нескольких независимых от друг друга Rфункции из удаленных интерфейсов
- , использующие 2 двухъядерных сервера в качестве бэкэнда R
Зная, что:
- каждая функция обычно обрабатывается вдо 30 секунд
- в среднем каждые 5 минут (но может одновременно) набор из 8-15 функций, которые должны быть выполнены, отправляется на сервер (поставлены в очередь для обработки: сначала в порядке поступления).5 минут - это среднее значение, несколько наборов могут быть отправлены одновременно
- экземпляр 2x2 R уже запущен, с загруженными необходимыми пакетами, они всегда одинаковы, поэтому не нужно повторно- загружать их все время
- входной объем передаваемых данных очень низок: максимум 50k
Здесь нет объекта распараллеливания кода (снег, снегопад, кондор и другие традиционныекластерные решения)
Знаете ли вы хороший пакет / инструмент, разработанный для R, который может помочь?
Большое спасибо!