Я склонен согласиться с Ники, что вы должны работать с книгой, если вы находитесь на этом базовом уровне, но в любом случае вот ответ.
I = imread('your_image');
# convert I to grayscale double as appropriate using rgb2gray(), double(), etc.
# calculate the gradients and the formula you provided
[dIx, dIy] = gradient(I);
B = abs(dIx) - abs(dIy);
# do your low-pass filtering
H = fspecial('gaussian', 20, 10);
C = imfilter(B, H);
imagesc(C); colorbar;
Удачи! Убедитесь, что вы понимаете этот код, прежде чем делать copypasta.