Один из способов сделать это - создать двоичную маску с единицами внутри круга и нулями снаружи. Затем вы можете использовать этот массив либо для маскировки всего, что находится за пределами круга, с помощью NaN, либо для считывания значений пикселей изображения внутри маски.
Чтобы создать маску круга, проще всего создать координатные массивы, центрированные на радужной оболочке, и ограничить расстояние следующим образом:
[xx,yy] = ndgrid((1:imageSize(1))-ci(1),(1:imageSize(2))-ci(2));
mask = (xx.^2 + yy.^2)<ci(3)^2;