Вы не говорите, что это за система. Если он нелинейный, у вас очень серьезный беспорядок. В линейном случае Вы пытаетесь решить систему Ax = y, где A не обратимо. Несмотря на то, что он не обратим, он допускает псевдообращение, которое вы можете стабильно вычислять с использованием SVD.