Параллельное умножение больших матриц - PullRequest
0 голосов
/ 11 сентября 2018

Мне нужно умножить две большие матрицы A и B следующим образом:

library(bigmemory)
library(bigalgebra)
library(biganalytics)

A <- big.matrix( replicate(100,  rnorm(10^5)) )
B <- big.matrix( replicate(10^5, rnorm(100))  )
AB <- A %*% B

Как я могу вычислить это умножение параллельно?

Единственный урок, с которым я сталкивался, это этот :

> library("doRedis")
> registerDoRedis(queue="example")
> L = foreach(j=1:2,.packages="VAM",.combine=c) %dopar%
+ {
+ key = paste("X",j,sep="")
+ ridx = ((j-1)*5 + 1):min((j*5),nrow(A))
+ X = A[ridx,] %*% B[,]
+ Y = as.big.matrix(X,backingfile=key)
+ vnew(Y, key)
+ key
+ }
> X = vam(matrix(L,nrow=2))
> sum(X[,] - A[,] %*% B[,])
[1] 0

Но я не уверен, как применить это на практике. Может также быть более простой / более эффективный способ достижения того же результата?

1 Ответ

0 голосов
/ 12 сентября 2018

Установка Microsoft R Open, я иду от 3 сек до 0,1 сек!

library(bigmemory)
library(bigalgebra)

N <- 200
M <- 1e5

A <- big.matrix(N, M, init = rnorm(N * M))
B <- big.matrix(M, N, init = rnorm(N * M))
system.time(AB <- A %*% B)

Change the version of R you use in RStudio settings (need to quit RStudio afterwards)

...