То, что вы получаете от roipoly, является маской - вам нужно применить это к вашему изображению с помощью:
masked_image = image .* mask
Тогда каждый пиксель маскированного изображения имеет значение, соответствующее его освещенности, предполагая, что оно пришло отПЗС-камера.
Кстати, я немного сомневаюсь в этой формуле оптической плотности - что происходит, когда освещенность равна нулю?