Неквадратичные матрицы означают разные вещи.
Если в нем больше строк, чем столбцов (больше уравнений, чем неизвестных), это означает, что вам нужно приближение по методу наименьших квадратов.Вы можете предварительно умножить обе стороны на транспонирование A и использовать LU decomp для этого.Результатом является «наилучшее» решение по методу наименьших квадратов.
Если в нем меньше строк, чем столбцов (больше неизвестно, чем уравнений), вам необходимо разложение по сингулярным числам (SVD).Это даст вам лучшее решение и пустое пространство.