Анонимные функции определены как:
f= @(parameters)(function);
Вы забыли добавить параметры. Я подозреваю, что вы хотите:
f=@(x)((f(x+h)-2*(f(x))+(f(x-h)))./h^2);
Однако это вызовет вторую проблему: вы перезаписываете f
. Может быть, вы хотите
% you defined some f=@(x)...
g=@(x)((f(x+h)-2*(f(x))+(f(x-h)))./h^2);