Я не совсем понимаю вопрос. Не Fx = @(x,y) -2*KM(1,1)*x-(KM(2,1)+KM(1,2))*y;
, когда вы делаете математику от руки.
Общий V равен V = KM(1,1)*x^2+(KM(1,2)+KM(2,1))*x*y+KM(2,2)*y^2
, который является просто квадратичной формой. Также, если он положительно определен и симметричен, вы можете немного упростить его.