Трудно понять, что он имел в виду под «маскировкой», но один из методов, который мог бы работать, - это использование нормализованной взаимной корреляции, которая является мерой сходства между изображением и подизображением.
Если у вас есть набор инструментов для обработки изображений в Matlab, я предлагаю вам использовать функцию normxcorr2. Эта функция принимает субизображение и изображение в качестве входных данных и выдает корреляционное изображение. Пики корреляционного изображения расположены там, где два входных изображения наиболее похожи.
http://www.mathworks.com/help/toolbox/images/ref/normxcorr2.html