Вместо того, чтобы добавлять цвет к алгоритму, часто проще преобразовать изображение, а затем запустить алгоритм на каждом отдельном изображении для цветового масштабирования.
Стоит посмотреть на это в другом цветовом пространстве, а не в RGB - в зависимости отна том, что вы пытаетесь найти, может иметь смысл делать это в деталях HSV или YUV (по крайней мере, UV).