Что такое быстрый способ вычисления корреляции столбец за столбцом в Matlab - PullRequest
Новая
       17

Что такое быстрый способ вычисления корреляции столбец за столбцом в Matlab

10 голосов
/ 13 февраля 2012

У меня есть две очень большие матрицы (60x25000), и я хотел бы вычислить корреляцию между столбцами только между двумя матрицами.Например: 

corrVal(1) = corr(mat1(:,1), mat2(:,1);
corrVal(2) = corr(mat1(:,2), mat2(:,2);
...
corrVal(i) = corr(mat1(:,i), mat2(:,i);

Для меньших матриц я могу просто использовать: 

   colCorr = diag( corr( mat1, mat2 ) );

, но это не работает для очень больших матриц, когда у меня заканчивается память.Я рассмотрел нарезку матриц для вычисления корреляций и последующего объединения результатов, но кажется бесполезным вычислять корреляции между комбинациями столбцов, которые меня на самом деле не интересуют.

Есть ли быстрый способ напрямуювычислить то, что мне интересно?

Редактировать : я использовал цикл в прошлом, но его просто замедлили: 

mat1 = rand(60,5000);
mat2 = rand(60,5000);
nCol = size(mat1,2);
corrVal = zeros(nCol,1);

tic;
for i = 1:nCol
    corrVal(i) = corr(mat1(:,i), mat2(:,i));
end
toc;

Это занимает ~ 1секунда 

tic;
corrVal = diag(corr(mat1,mat2));
toc;

Это занимает ~ 0,2 секунды

Ответы [ 2 ]

15 голосов
/ 13 февраля 2012

Я могу получить улучшение скорости x100 , вычислив его вручную. 

An=bsxfun(@minus,A,mean(A,1)); %%% zero-mean
Bn=bsxfun(@minus,B,mean(B,1)); %%% zero-mean
An=bsxfun(@times,An,1./sqrt(sum(An.^2,1))); %% L2-normalization
Bn=bsxfun(@times,Bn,1./sqrt(sum(Bn.^2,1))); %% L2-normalization
C=sum(An.*Bn,1); %% correlation

Вы можете сравнить, используя этот код: 

A=rand(60,25000);
B=rand(60,25000);

tic;
C=zeros(1,size(A,2));
for i = 1:size(A,2)
    C(i)=corr(A(:,i), B(:,i));
end
toc; 

tic
An=bsxfun(@minus,A,mean(A,1));
Bn=bsxfun(@minus,B,mean(B,1));
An=bsxfun(@times,An,1./sqrt(sum(An.^2,1)));
Bn=bsxfun(@times,Bn,1./sqrt(sum(Bn.^2,1)));
C2=sum(An.*Bn,1);
toc
mean(abs(C-C2)) %% difference between methods

Вот время вычислений: 

Elapsed time is 10.822766 seconds.
Elapsed time is 0.119731 seconds.

Разница между двумя результатами очень мала: 

mean(abs(C-C2))

ans =
  3.0968e-17

РЕДАКТИРОВАТЬ: объяснение

bsxfun выполняет операцию столбец за столбцом (или строка за строкой в ​​зависимости от ввода). 

An=bsxfun(@minus,A,mean(A,1));

Эта строка удалит (@minus) среднее значение каждого столбца (mean(A,1)) для каждого столбца A ... Таким образом, по сути, столбцы A имеют нулевое среднее значение. 

An=bsxfun(@times,An,1./sqrt(sum(An.^2,1)));

Эта строка умножает (@times) каждый столбец на обратную его норму. Так что это делает их L-2 нормализованными.

После того, как столбцы будут иметь нулевое среднее значение и нормализованы по L2, для вычисления корреляции вам нужно просто сделать скалярное произведение каждого столбца An с каждым столбцом B. Таким образом, вы умножаете их поэлементно An.*Bn, а затем суммируете каждый столбец: sum(An.*Bn);.

1 голос
/ 13 февраля 2012

Я думаю, что очевидный цикл может быть достаточно хорош для вашего размера проблемы.На моем ноутбуке требуется менее 6 секунд, чтобы выполнить следующие действия: 

A = rand(60,25000);
B = rand(60,25000);
n = size(A,1);
m = size(A,2);

corrVal = zeros(1,m);
for k=1:m
    corrVal(k) = corr(A(:,k),B(:,k));
end
...