Не уверен, что это лучший способ, но это сработало. Идея состоит в том, чтобы смоделировать значение цвета uint в Pixel Bender.
evaluatePixel()
{
float4 color = sampleNearest(src,outCoord());
float minInt = 0.0;
if(minColor.r > 0.0) minInt += minColor.r + 3.0;
if(minColor.g > 0.0) minInt += minColor.g + 2.0;
if(minColor.g > 0.0) minInt += minColor.b + 1.0;
float maxInt = 0.0;
if(maxColor.r > 0.0) maxInt += maxColor.r + 3.0;
if(maxColor.g > 0.0) maxInt += maxColor.g + 2.0;
if(maxColor.g > 0.0) maxInt += maxColor.b + 1.0;
float colInt = 0.0;
if(color.r > 0.0) colInt += color.r + 3.0;
if(color.g > 0.0) colInt += color.g + 2.0;
if(color.g > 0.0) colInt += color.b + 1.0;
if(colInt >= minInt && colInt <= maxInt)
{
dst = float4(0.0);
}else{
dst = color;
}
}