myimage = sum(255 - myimage, 3);
Объяснение:
255 - myimage
делает пиксельное инверсию цвета, например для каждого пикселя, RКомпонент становится (255-R) и так далее ...
sum(…, 3)
делает по пикселям сумму каждого из 3 слоев изображения (красный,Зелёный и синий)
В итоге вы получите однослойное изображение, в котором каждый пиксель хранит соответствующую сумму, которую вы ищете.