Линейная алгебра, участвующая в размешивании пятен, может давать отрицательные значения. Очевидно, что отрицательных плотностей пятен не существует. Эти отрицательные значения являются артефактом шума, неточных цветовых определений и модели несмешивания, игнорирующей поглощение света другими предметами, кроме двух определенных вами пятен.
Безопасно устанавливать отрицательные пиксели равными нулю.