Основной случай одного изображения RGB (3D-матрицы) был показан другими :
img = imread('image.png'); %# some RGB image
img2 = ~(img(:,:,1)>200 & img(:,:,2)<50 & img(:,:,3)<50);
Если вы хотите применить это ко всем кадрам фильма (4D-матрица = высота за ширину за цветом за кадром), попробуйте следующее компактное решение:
mov = cat(4, img, img); %# a sample video of two frames
mov2 = squeeze( ~(mov(:,:,1,:)>200 & mov(:,:,2,:)<50 & mov(:,:,3,:)<50) );