РЕДАКТИРОВАТЬ: на основе ваших разъяснений, ясно, что происходит. Вы пытаетесь интерполировать функцию за пределами диапазона доступных данных - то есть вы переходите от интерполяции к экстраполяции. Сплайны могут привести к выбросу, который вы наблюдаете. Решение состоит в том, чтобы просто убедиться, что ваша 1D функция имеет значения в интервале [min (r), max (r)]. Обратите внимание, что в исходных данных max (r) составляет около 424, а функция, которую вы интерполируете, определяется в диапазоне [-300,299]
% Simulated overshoot, see left figure:
x1d = [-300:299];
[x,y]=meshgrid(x1d,x1d);
r = sqrt(x.^2+y.^2);
gsn1d = exp(-x1d.^2/500);
lowpass = @(x)(x1d > -x & x1d < x);
gsn1dcutoff = ifft(fftshift(lowpass(10).*fftshift(fft(gsn1d))));
plot(gsn1dcutoff)
OTF2d = reshape(interp1(x1d,gsn1dcutoff,r(:),'spline'),[length(x1d),length(x1d)]);
mesh(OTF2d)
% Quick and dirty fix, see right figure:
x1dExtended = linspace(min(x1d*sqrt(2)),max(x1d*sqrt(2)),ceil(length(x1d)*sqrt(2)));
gsn1dE = exp(-x1dExtended.^2/500);
% ^^^ note that this has 600*sqrt(2) points and is defined on the diagonal of your square. Now we can low-pass filter in the freq. domain to add ripple in space domain:
lowpass = @(x)(x1dExtended > -x & x1dExtended < x);
gsn1dcutoff = -real(ifft(fftshift(lowpass(10).*fftshift(fft(gsn1dE)))));
plot(gsn1dcutoff)
OTF2d = reshape(interp1(x1dExtended,gsn1dcutoff,r(:),'spline'),[length(x1d),length(x1d)]);
mesh(OTF2d)
альтернативный текст http://img54.imageshack.us/img54/8255/clipboard01vz.png