Я не уверен, что вы подразумеваете под "векторами [...] могут быть (1xn) матрицы" ... не все ли матрицы 1 на n?Вы имеете в виду «в отличие от n-на-1»?Кроме того, что мешает вам просто попробовать это?
>> x=rand(1,100);y=rand(1,100)+x;
>> C=cov(x,y); p=C(2)/(std(x)*std(y))
p =
0.6642
Похоже, прямо на меня ...
В качестве альтернативы, попробуйте это: help corrcoef