Один из способов проверить, находится ли один объект полностью внутри другого, - преобразовать обе в двоичные маски, используя poly2mask (если они уже не являются двоичными масками), и проверить, что все пиксели одного объекта являются частью другого объекта.
%# convert object 1 defined by points [x1,y1] into mask
msk1 = poly2mask(x1,y1,imageSizeX,imageSizeY);
%# do the same for object 2
msk2 = poly2mask(x2,y2,imageSizeX,imageSizeY);
%# check whether object 1 is fully inside object 2
oneInsideTwo = all(msk2(msk1));
Однако действительно ли это необходимо? Глаза всегда должны быть близко к центру лица, и, таким образом, 8-точечный метод должен быть достаточно надежным для определения того, нашли ли вы глаз, являющийся частью лица, или это артефакт сегментации.
Кроме того, если глаз находится на лице, то да, вы бы рассматривали его как часть этого лица - если только вы не анализируете фотографии людей, которые едят глаза, в этом случае вам придется проверить, является ли глаз находится примерно в правильном положении на лице.
В сумме, ответ на ваши вопросы большой "зависит от деталей вашего заявления".