Эта команда будет делать то, что вы хотите:
hist(reshape(A, prod(size(A)), 1))
Она создает вектор из матрицы A, преобразовывая его в матрицу с одним столбцом и числом строк, равным числуэлементов A:
prod(size(A)) = number_of_columns(A) * number_of_rows(A)
Или краткий путь:
hist(A(:))
Это берет каждый элемент A в последовательности и, следовательно, также генерирует вектор.