Как говорят другие ответы, вы должны различать пространство, занимаемое самой матрицей и алгоритмом умножения.
Что касается классической структуры данных NxM matriz, то занимаемое пространство составляет O (NM).
Что касается самого алгоритма, то он зависит: базовый алгоритм последовательного умножения занимает пространство O (1), поскольку он умножает и суммирует один элемент за раз.
В параллельном алгоритме, умножающем NxM и MxPВ матрицах каждый процессор должен занимать пространство O (1), поскольку каждый процесс вычисляет одно значение умножения, а в пространстве - O (X), где X - число параллельных процессов, работающих над решением.