Параллельное добавление векторов с использованием RcppParallel - PullRequest
Новая
       78

Параллельное добавление векторов с использованием RcppParallel

0 голосов
/ 10 ноября 2018

Я пытаюсь распараллелить добавление (больших) векторов, используя RcppParallel.Вот что я придумал. 

// [[Rcpp::depends(RcppParallel)]]
#include <RcppParallel.h>
#include <Rcpp.h>
#include <assert.h> 
using namespace RcppParallel;
using namespace Rcpp;

// [[Rcpp::export]]
NumericVector directVectorAddition(NumericVector first, NumericVector second) {
    assert (first.length() == second.length());
    NumericVector results(first.length());
    results = first + second;
    return results;
}

// [[Rcpp::export]]
NumericVector loopVectorAddition(NumericVector first, NumericVector second) {
    assert (first.length() == second.length());
    NumericVector results(first.length());
    for(unsigned i = 0; i != first.length(); i++)
        results[i] = first[i] + second[i];
    return results;
}

struct VectorAddition : public Worker
{
    const RVector<double> first, second;
    RVector<double> results;
    VectorAddition(const NumericVector one, const NumericVector two, NumericVector three) : first(one), second(two), results(three) {}

    void operator()(std::size_t a1, std::size_t a2) {
        std::transform(first.begin() + a1, first.begin() + a2,
                       second.begin() + a1,
                       results.begin() + a1,
                       [](double i, double j) {return i + j;});
    }
};


// [[Rcpp::export]]
NumericVector parallelVectorAddition(NumericVector first, NumericVector second) {
    assert (first.length() == second.length());
    NumericVector results(first.length());
    VectorAddition myVectorAddition(first, second, results);
    parallelFor(0, first.length(), myVectorAddition);
    return results;
}

Кажется, что это работает, но не ускоряет работу (по крайней мере, на 4-ядерном компьютере). 

> v1 <- 1:1000000
> v2 <- 1000000:1
> all(directVectorAddition(v1, v2) == loopVectorAddition(v1, v2))
[1] TRUE
> all(directVectorAddition(v1, v2) == parallelVectorAddition(v1, v2))
[1] TRUE
> result <- benchmark(v1 + v2, directVectorAddition(v1, v2), loopVectorAddition(v1, v2), parallelVectorAddition(v1, v2), order="relative")
 > result[,1:4]
                            test replications elapsed relative
    1                        v1 + v2          100   0.206    1.000
    4 parallelVectorAddition(v1, v2)          100   0.993    4.820
    2   directVectorAddition(v1, v2)          100   1.015    4.927
    3     loopVectorAddition(v1, v2)          100   1.056    5.126

Может ли это быть реализовано более эффективно?

Заранее большое спасибо,

mce

1 Ответ

0 голосов
/ 10 ноября 2018

Ошибка новичка :) Вы определяете это как Rcpp::NumericVector, но создаете данные, которые создаются с помощью оператора последовательности. И это создает целочисленные значения, поэтому вы принудительно копируете все свои функции!

Сделать это 

v1 <- as.double(1:1000000)
v2 <- as.double(1000000:1)

вместо этого, и на машине с большим количеством ядер (на работе) я вижу 

R> result[,1:4]
                            test replications elapsed relative
4 parallelVectorAddition(v1, v2)          100   0.301    1.000
2   directVectorAddition(v1, v2)          100   0.424    1.409
1                        v1 + v2          100   0.436    1.449
3     loopVectorAddition(v1, v2)          100   0.736    2.445

Пример все еще не настолько впечатляющий, потому что соответствующая операция является «дешевой», тогда как параллельный подход требует выделения памяти, копирования данных рабочим, повторного сбора данных и т. Д.

Но хорошая новость в том, что вы правильно написали свой параллельный код. Не маленькая задача.

...