Попробуйте функцию Среднее для начинающих. Передача ей матрицы приведет к усреднению всех столбцов и возврату вектора строки.
Далее вам нужно вычесть среднее значение. Для этого матрицы должны быть одинакового размера, поэтому используйте repmat для среднего вектора строки.
a=rand(10);
abar=mean(a);
abar=repmat(abar,size(a,1),1);
anorm=a-abar;
или однострочник:
anorm=a-repmat(mean(a),size(a,1),1);